Romberg blev en förebild för det senare violoncellspelet. Hans samtida höll honom för mästare i avseende på tonskönhet, säker teknik, ädelt uttryck samt friska och eleganta tolkningar. Han skrev tre symfonier, 11 cellokonserter, en mängd solostycken för cello, stråkkvartetter, annan instrumentalmusik, däribland fantasier över svenska, spanska, österrikiska, polska, ryska och rumänskafolkvisor, några operor och skådespelsmusik.