Carroll ga ut sin første diktsamling i 1967, mens han fremdeles var student. I 1970, etter at hans andre diktsamling ble publisert, begynte han å jobbe for Andy Warhol først som dialogforfatter for Warhols filmer, og senere som nestleder for Warhols teater-produksjon.
I 1973 ga Caroll ut sine tredje samling av dikt, Living at the Movies, hos et større og mer kommersielt forlag.
I 1978 ga Carroll ut sitt magnum opus, Basketballdagbøkene.[6] Boken er en samling av redigerte utdrag fra Carrolls dagbok fra alderen 12 til 16, og følger Carrols studentliv, tidlige sexliv, basketballkarriere, hans heroinavhengighet, og narkotikamiljøet i New York i perioden.
Musikk
I 1978 flyttet Carroll til California for å starte et nytt liv etter å kommet seg av heroin. Her startet han bandet "The Jim Carroll Band", et New Wave/Punk Rock band sammen med Steve Linsley (bass), Wayne Woods (trommer), Brian Linsley og Terrell Winn. Bandet er kanskje mest kjent for singelen "People Who Died" fra albumet "Catholic Boy". Sangtittelen var tatt fra tittelen til et dikt av Carrols venn og poet, Ted Berrigan
Død
Carroll døde av et hjerteinfarkt 11. september 2009, dødsfallet ble annonsert to dager senere.[7]
På gravsteinen hans står det "James Dennis Carroll, Poet, 1949-2009. When the Spirit Grows too Large For the Body – Both are Called Home"[8]
