Forældrene var indvandret fra Tyskland og faderen var militærmusiker. Hans søster var gift med kapelmusikus Gottlob Friedrich Kittler, som også var med til at undervise drengen, der var den yngste af flere søskende. Joseph Frøhlich var først cellist og siden fløjtenist i Kapellet og var violinlærer for J.P.E. Hartmann. Frøhlich voksede derfor op i et udpræget musikmiljø. Johannes Frederik Frøhlich blev en dygtig musiker både på fløjte, klaver og violin, og optrådte allerede som otteårig ved en koncert. Som følge af sit store talent fik han flere sponsorer, der sørgede for at han fik en bedre uddannelse, bl.a. Weyse, en kammerråd Bang, og Kuhlau. Claus Schall, der var leder af Det Kongelige Kapel og en god violinist, blev hans lærer, og allerede som femtenårig blev Frøhlich ansat i kapellet som violinelev. I 1824 debuterede han som solist i en violinkoncert af Ludwig Spohr. Samtidig begyndte han at virke som komponist.
I Paris havde han mødt August Bournonville, og på dennes opfordring skrev han derefter en del musik til Bournonvilles balletter. Det var i denne egenskab at samtiden satte ham højest.
I 1838 blev han sendt på rekreation til Rom med fregatten Rota, som skulle hente Bertel Thorvaldsen hjem til Danmark, men allerede i 1844 måtte Frøhlich trække sig tilbage fra posten som koncertmester på grund af sit helbred. Derefter levede han tilbagetrukket som komponist og lejlighedsvise koncerter. Den tredelte dirigentpost blev efter nogen tid overdraget Franz Glæser, der havde stor succes i stillingen.
Lis H. Sander: J.F. Frøhlichs orkestermusik, belyst ved en gennemgang af de symfoniske værker og violinkoncerten. Unpublished thesis from the University of Copenhagen 1978, p. 70-76