Klughardt, qui est né à Köthen, a pris ses premières leçons de piano et de solfège à l'âge de 10 ans. Bientôt, il commence à composer ses premiers morceaux, qui ont été joués par un cercle de musique que Klughardt avait fondé à l'école. En 1863, sa famille a déménagé à Dessau. Un an plus tard, Klughardt faisait ses débuts comme pianiste.
Après avoir achevé ses études, il s'est installé à Dresde en 1866. Là, il a pris d'autres leçons et fait connaître ses compositions au public pour la première fois. Un an plus tard, il a commencé à gagner sa vie en tant que chef d'orchestre. Dans un premier temps, il a travaillé au théâtre municipal de Posen (Poznań) pendant une saison, puis à Neustrelitz pour une autre saison, et enfin à Lübeck pendant plusieurs mois. De 1869 à 1873, il a travaillé au théâtre de la cour de Weimar. Là, il a fait connaissance de Franz Liszt, rencontre qui a été très importante pour son développement créatif. En 1873, il est retourné à Neustrelitz où il est devenu chef d'orchestre. Il a été nommé directeur en 1880. En 1876, il a assisté au premier Festival de Bayreuth.
De 1882 à la fin de sa vie, il a été directeur de la musique à la cour de Dessau. En 1892 et 1893, il a dirigé Der Ring des Nibelungen de Richard Wagner. Il a reçu de nombreuses distinctions dans ses dernières années : il a été nommé membre de l'Académie des arts de Berlin en 1898 et il a été fait docteur honoris causa par l'Université d'Erlangen. Il a également été sollicité pour diriger la Singakademie de Berlin, mais il a refusé cette offre. Klughardt est mort subitement à Roßlau à l'âge de 54 ans.
(de) Günther Eisenhardt, Marco Zabel: August Klughardt. Ausgewählte Dokumente und Materialien zu Leben und Werk. Mit einem Bericht über die ersten Bayreuther Festspiele 1876. Potsdam 2002, (ISBN3-935024-42-8)