Kaoru Yachigusa wurde 1931 in der Präfektur Osaka geboren. Sie begann ihre Laufbahn 1947 mit sechzehn Jahren als Mitglied der Takarazuka Revue, bei der sie für zehn Jahre bis 1957 blieb. Bereits während dieser Zeit spielte Yachigusa 1951 ihre erste kleine Filmrolle in Takarazuka fujin. Ihre erste Hauptrolle folgte 1954 im MusikfilmMadame Butterfly.
Noch im selben Jahr war Yachigusa in der Rolle der Otsu in dem vielfach ausgezeichneten HistorienfilmSamurai zu sehen. 1955 und 1956 folgten zwei Fortsetzungen des Filmes, in denen Yachigusa ebenfalls mitwirkte. Die von Hiroshi Inagaki stammende Filmreihe ist heute als Samurai-Trilogie bekannt.
Zu Yachigusas späteren Filmauftritten gehört eine Hauptrolle im 1987 erschienenen Melodrama Hachiko Monogatari über den Hund Hachikō, welches 2009 mit Richard Gere in der Hauptrolle in Hollywood neu verfilmt wurde. Des Weiteren spielte sie eine Rolle im 2013 erschienenen Drama Fune o Amu.
Neben ihrer Schauspielkarriere war Kaoru Yachigusa auch als Synchronsprecherin tätig. So sprach sie unter anderem Sawako im 2014 erschienenen AnimeJoban'ni no Shima sowie die Titelfigur Miss Marple in der 2004 bis 2005 produzierten Animeserie Agatha Christie's Great Detectives Poirot and Marple.
Kaoru Yachigusa war von 1957 an mit dem japanischen Filmregisseur Senkichi Taniguchi (1912–2007) verheiratet. Sie war bis ins hohe Alter als Schauspielerin tätig und wurde für ihre Leistungen mehrfach ausgezeichnet.