Shorty Rogers zenekarainak volt a tagja, mielőtt szólista lett. Giuffre klarinéton, tenor- és baritonszaxofonon is játszott, de aztán a klarinétra koncentrált. 1954-ben egy trióban játszott Shelly Manne-nal és Shorty Rogersszel. 1955-ben a Shelly Manne & His Men együttes alapító tagja volt.
Jimmy Giuffre első triója saját magából, Jim Hall gitárosból és Ralph Peña − később James Atlas − nagybőgősből állt. Sikert aratott 1957-ben, amikor Giuffre „The Train and the River” című művét a „The Sound of Jazz” című televíziós adásban is bemutatták. Amikor Atlas kilépett a trióból, helyére Bob Brookmeyer szelepharsonás lépett. Ezt a szokatlan felállítás Claude Debussy ihlette; benne van a Jazz on a „Summer Evening” című filmben, amelyet az 1958-as Newport Jazz Festivalon forgattak.
1961-ben Giuffre új triót alapított Paul Bley zongorista és Steve Swallow nagybőgőssel, amely Németországban is bemutatkozott. Bár ez a csoport akkoriban kevés figyelmet kapott, később egyes rajongók és zenészek a dzsessztörténet egyik legfontosabb együttesének tartották. Free dzsesszt játszottak, de eléggé visszafogottan, a kamarazenéhez hasonlíthatóan. 1989-ben a zenészek már teljesen rögtönzött zenét játszottak.
Giuffre az 1970-es évek elején újabb triót hozott létre Kiyoshi Tokunaga basszusgitárossal és Randy Kaye dobossal. Ebben a basszusfuvola és a szopránszaxofon is szóhóz jutott. Egy későbbi együttesel, Pete Levin szintetizátorossal és Bob Nieske elektromos basszusgitárossal három albumot rögzítettek az olasz „Soul Note” kiadónak.
Az 1970-es években Giuffre a New York-i Egyetemen is tanított. Az 1990-es években Joe McPhee-vel készített felvételeket. Később a „New England Conservatory of Music”-on tanított. Írt versenyműveket klarinétra és vonószenekarra, de filmzenét is írt.
Giuffre Parkinson-kórban szenvedett, ezért 1993-ban befejezte pályafutását. 2008-ban halt meg, két nappal 87. születésnapja előtt.
Ez a szócikk részben vagy egészben a Jimmy Giuffre című német Wikipédia-szócikk ezen változatának fordításán alapul. Az eredeti cikk szerkesztőit annak laptörténete sorolja fel. Ez a jelzés csupán a megfogalmazás eredetét és a szerzői jogokat jelzi, nem szolgál a cikkben szereplő információk forrásmegjelöléseként.