Der aus einer Sinti-Familie stammende Rosenberg ist der Cousin von Mozes, Nonnie, Nous'che und Stochelo Rosenberg. In früher Kindheit spielte er Violine, bevor er siebenjährig zur Gitarre wechselte. 1989 trat er in John Jeremys Dokumentarfilm Django’s Legacy mit dem Trio Gypsy Kids auf.
1996 gründete Rosenberg mit Johnny und Rinus Steinbach das Trio Gipsy, mit dem er im gleichen Jahr eine USA-Tournee unternahm und das gleichnamige Album aufnahm. In Norwegen spielte die Gruppe mit Babik Reinhardt das Album Hot Shots ein.
Nach einer Tournee durch Norwegen und Schweden trat Rosenberg 1998 in der New Yorker Carnegie Hall mit Les Paul, George Benson und Frank Vignola auf. 2000 erfolgte ein zweiter Auftritt in der Carnegie Hall, außerdem spielte er neben Babik Reinhardt und Biréli Lagrène im Jazzclub Birdland.
Nach 2000 arbeitete Rosenberg vorrangig in Norwegen, wo er mehrere Alben beim Label Hot Club Records veröffentlichte. Das Album Swinging with Jimmy (2003) mit dem Hot Club de Norvège wurde von der norwegischen Komponistenvereinigung NOPA als „Werk des Jahres“ ausgezeichnet. 2006 erschien Jeroen Berkvens’ Dokumentarfilm Jimmy Rosenberg, De vader, de Zoon & het Talent, der im Folgejahr mehrere Preise beim Krakauer Filmfestival erhielt.
Nach mehr als einem Jahrzehnt Pause kehrte Rosenberg 2022 zurück, um auf dem Jazzfestival in Mailand und wiederum in Samois-sur-Seine zu spielen. Zudem gründete er die Jimmy Rosenberg Academy.
Jimmy Rosenberg & Jon Larsen Jon & Jimmy (2010, mit Stochelo Rosenberg, Angelo Debarre, Stian Carstensen, Andreas Öberg, Alain Antonietto, Pascal de Loutchek)
The Alternative One and Only Album (2014, mit Angelo Debarre, Biréli Lagrène, Svein Aarbostad; Aufnahmen von 1997)