Filho de um fabricante de instrumentos musicais, começou uma carreira de violinista. A sua primeira obra como compositor foi a abertura para orquestra Recordações de Ossian (1836), que estreou a Sociedade Musical de Copenhaga em 1840. Depois decidiu dedicar a sua primeira sinfonia a Felix Mendelssohn que, entusiasmado, a estreou com a orquestra Gewandhaus de Leipzig em março de 1843; depois de uma estadia em Itália, Gade tomaria o comando dessa orquestra durante 4 anos (1844-1848) como director. Chegou a Leipzig, Alemanha, graças a uma bolsa outorgada pelo governo dinamarquês.
Foi muito amigo de Mendelssohn, e também de Robert Schumann que viu em Gade um "compositor excepcional".
Em finais de 1840 voltou à Dinamarca, onde se ficou com o cargo de direcção da Sociedade Musical de Copenhaga, lugar que ocupou até à sua morte, cinquenta anos depois. Durante este período, criou uma nova orquestra e um novo coro, além de trabalhar como organista. Alentou toda uma geração de compositores nórdicos, incluindo Edvard Grieg. Compôs obras sinfónicas, instrumentais, corais e de gosto romântico.
