Il arrive à Hambourg en 1794 avec son père Henri, qui y fonde une troupe de théâtre française avec des comédiens venus de Bruxelles mais aussi de plusieurs villes de France. Joseph-Henri s'y exerce au métier de chef d'orchestre et y épouse, le , la danseuse Catherine Lambert, connue sous le nom de scène de Mme Saint-Romain. Leur fille Geneviève-Angélique, née à Rouen le , deviendra une danseuse renommée, sous le nom de Mlle Saint-Romain.