Le père de Reinecke a été le professeur de Gurlitt pendant six ans. À 17 ans, Gurlitt réalise sa première apparition publique, qui est bien accueillie. Il décide de continuer ses études à Copenhague. Il y étudie l'orgue, le piano et la composition avec Curlander et Christoph Ernst Friedrich Weyse. C'est à cette époque qu'il fait la connaissance du compositeur danois Niels Wilhelm Gade. Ils resteront amis jusqu'à la disparition de ce dernier.
En , Gurlitt s'installe à Hirschholm, près de Copenhague. Il y reste quatre ans. Il emménage alors à Leipzig où Gade était devenu directeur musical du Gewandhaus. Il voyage par la suite à Rome, où son frère, Louis Gurlitt, peintre bien connu, étudiait.
Les talents de musicien de Gurlitt sont rapidement reconnus à Rome, et il est nommé membre honoraire de l'Accademia Nazionale di Santa Cecilia. En , il est nommé professeur de musique dans cette même académie. À Rome, il étudie également la peinture avec beaucoup de réussite. À son retour à Altona, le duc d'Augustenbourg le choisit comme précepteur de trois de ses filles. Lorsque la première Guerre des Duchés éclate, en , il devient chef d'une fanfare militaire. En 1864, il est nommé organiste de la cathédrale d'Altona, poste qu'il occupe jusqu'en 1898.
Sa production musicale a été prodigieuse aussi bien en termes de quantité que de qualité. Elle va de chants et pièces pédagogiques à des opéras, cantates et symphonies.