Gau de Frégeville entstammte einer königstreuen Offiziersfamilie; sein Vater war Lieutenant-général Jean de Frégeville, seigneur de Grandval et de Plegades, sein Halbbruder war General Jean-Henri de Frégeville und sein Bruder Henri de Frégeville. Er wurde auf Château de Grandval im Midi-Pyrénées geboren, das sich seit 1746 im Familienbesitz befand. Seinen Unterricht erfuhr er durch Hauslehrer, welche diesen aber von Anfang an auf eine militärische Karriere ausrichteten.
1774 trat Gau de Frégeville als Kadett in die königliche Armee ein und kam zu einem Regiment in der Bretagne. Er konnte sich schon bald auszeichnen und wurde auch mehrfach befördert. Am 11. Juli 1779 war er bereits Sous-lieutenant.
1781 diente er im Rang eines Capitains im Régiment de Condé-Dragons. Von seinen Vorgesetzten unterstützt, unternahm Gau de Frégeville eine längere Studienreise nach und durch Preußen. Dabei erlernte er die deutsche Sprache und informierte sich soweit möglich über den Stand der preußischen Armee. Während dieser Zeit war er – eventuell zur Tarnung – mit Mlle Rodier de Manilargues verheiratet.
Nach weiteren Beförderungen kämpfte Gau de Frégeville unter Führung von General Charles-François Dumouriez vor Valmy (20. September 1792) und Jemappes (6. November 1792).
Ohne einen militärischen Auftrag, begann Gau de Frégeville politisch aktiv zu werden. Er wurde in den Conseil de Cinq-Cent gewählt und vertrat dort das Département Hérault. Am 31. Oktober 1798 heiratete er in Béziers Claire Sicard und hatte mit ihr vier Kinder.
Gau de Frégeville unterstützte Napoleon bei dessen Staatsstreich am 9. November 1799 und gehörte für einige Zeit auch zu dessen Stabsoffizieren. Er kämpfte am Mincio (25. Dezember 1800) und nahm an der Belagerung von Gaeta (Februar/Juli 1806) teil. Nach dem Frieden von Tilsit (7./9. Juli 1807) kehrte Gau de Frégeville wieder nach Frankreich zurück.
Durch die unterschiedlichen Bewertungen und Auffassungen der Kriegsführung kam es zum Bruch mit Napoleon und Gau de Frégeville wurde bis 1814 in den „einstweiligen Ruhestand“ versetzt. Nach der Schlacht bei Paris (30. März 1814) schloss sich Gau de Frégeville den Bourbonen an und unterstützte König Ludwig XVIII. Als Napoleon die Insel Elba verließ und dessen „Herrschaft der Hundert Tage“ begannen, wechselte er wieder zum Kaiser.
Während der Restauration wurde Gau de Frégeville von Marschall Laurent de Gouvion Saint-Cyr u. a. mit politisch-administrativen Aufgaben betraut. 1833 verkaufte er aus Kostengründen den Familienbesitz Château de Grandval an seinen Rechtsbeistand Hippolyte Charamaule. Er zog sich ins Privatleben zurück und ließ sich mit seiner Ehefrau in Paris nieder.
Auf Grund seiner Verdienste wurde er am 28. Juli 1835 von König Louis-Philippe I. zur Gedenkfeier für die Julirevolution von 1830 eingeladen. Auf dem Boulevard du Temple verübte der ehemalige Soldat Joseph Fieschi mit einigen Anhängern mittels einer Höllenmaschine ein Attentat. Der König blieb unverletzt doch zwölf Menschen wurden getötet. Gau de Frégeville wurde mit vielen anderen z. T. schwer verletzt.
Charles Louis Joseph de Gau de Frégeville starb am 4. April 1841 in Paris und fand dort auch seine letzte Ruhestätte.
