Gouvy sai muodollista koulutusta Metzissä ennen lähtöään Pariisiin vuonna 1836 lakiopintoja varten. Hän ei harrastanut musiikkia lapsena, mutta aloitti Pariisissa pianotunneilla käymisen. Opettajana toimi pianovirtuoosi Édouard Billard, joka oli aikoinaan opiskellut Henri Herzin johdolla. Vuonna 1839 Gouvy päätti suuntautua kokonaan musiikin alalle. Hän sai yksityistä musiikin teorian opetusta Antoine Elwartilta ja pääsi vuonna 1841 Pierre-Joseph-Guillaume Zimmermanin piano-oppilaaksi. Hän vietti myös useita kuukausia Berliinissä, jossa kustansi itse sävellyksiään. Täydennettyään opintojaan kapellimestari, säveltäjä Carl Friedrich Rungenhagenin johdolla Gouvy vietti vuodet 1844–1845 Italiassa, jossa valmistui hänen ensimmäinen sinfoniansa. Teos kantaesitettiin vuosi myöhemmin Pariisissa.[1]
Gouvyn musiikki ei saanut hyvää vastaanottoa Ranskassa, joten hän keskittyi työskentelemään Saksassa ja sai teoksiaan esitetyiksi Leipzigissa ja Berliinissä. Hänen ainoa näyttämöteoksensa, oopperaDer Cid, jäi esittämättä, vaikka oli jo tullut hyväksytyksi Dresdenissä vuonna 1863. Gouvy ei saanut musiikin alalla nimityksiä virkoihin, mutta hänestä tuli vuonna 1895 Preussin taiteiden akatemian kunniajäsen ja vuonna 1896 Kunnialegioonan ritari. Hän sävelsi yli 90 teosta, joissa ovat edustettuina monet genret.[1]
