Seine ersten Aufnahmen machte er Ende 1927 mit den Chicagoans von Red McKenzie und Eddie Condon (Okeh). 1929 spielte er bei Red Nichols und danach unter anderem im Orchester von Roger Wolfe Kahn. Ab 1933 begleitete Sullivan Bing Crosby, mit dem er aufnahm, in zahlreichen Radioshows auftrat und auch im Film zu sehen war. Seine im September 1933 eingespielte Komposition „Onyx Bringdown“ war mit #9 der erste von zwei Hits des Pianisten in den BillboardTop 30; im Oktober 1940 stieg seine Gershwin-Version von „I’ve Got a Crush on You“ auf Rang 24.[2] In seinem Cafe Society Orchestra spielten dabei u. a. Benny Morton, Edmond Hall, Danny Polo und Billy Taylor, Bandsängerin war Helen Ward.
Sullivan arbeitete auch als Studiomusiker in Hollywood, spielte bei Bob Crosby (1936), für dessen Band er auch Kompositionen beisteuerte („Minor Mood“, „Just Strollin“, „Little Rock Get Away“, „Gin Mill Blues“), setzte aber ab Ende 1936 zwei Jahre wegen Tuberkulose aus. 1938 spielte er wieder kurz mit Bing Crosby und 1939 mit Bob Crosby. In den 1940er Jahren spielte Sullivan meist Solo (oder mit ehemaligen Chicagoer Kollegen) in Nachtclubs, unter anderem 1941 in der Formation The Three Deuces mit Pee Wee Russell und Zutty Singleton, mit denen er einige Titel für Commodore einspielte sowie 1946 in dem von Eddie Condon in New York und um 1943 auch in Los Angeles. 1952 spielte er kurz bei Louis Armstrong und spielte ansonsten Solo im Raum San Francisco. Alkoholprobleme, verbunden mit privaten Problemen (drei gescheiterte Ehen, Depressionen) und einem heftigen Temperament, machten längere Engagements unmöglich. Trotz sporadischer Auftritte hatte er immer noch einen Namen und war 1963 auf dem Monterey Jazz Festival und 1964 auf dem Newport Jazz Festival.
Norman P. Gentieu, Notes for a Bio-Discography of Joe Sullivan. Pt. 1. Chicago, 1906–1928. Journal of Jazz Studies 4 (2) (1977): 33–42
Norman P. Gentieu, Notes for a Bio-Discography of Joe Sullivan. Pt. III: 1937–1947. Annual Review of Jazz Studies 2. (The State Univ. of New Jersey, Rutgers Institute of Jazz Studies) Newark 1983, S. 81–109
Norman P. Gentieu, Notes for a Bio-Discography of Joe Sullivan. Pt. IV. Annual Review of Jazz Studies 3 (1985): 11–40.