Geils aloitti opinnot Northeastern Universityssa Bostonissa vuonna 1964 ja liittyi yliopiston marssiorkesteriin, jossa hän soitti trumpettia. Hän siirtyi Worcesterin polyteknilliseen instituuttiin (Worcester Polytechnic Institute) opiskelemaan koneenrakennusta. Vapaa-aikaansa Geils vietti Bostonin folk-clubeilla.
Hän perusti J. Geils Blues Band -nimisen yhtyeen basisti Danny Kleinin ja huuliharppua soittaneen Richard Salwitzin (Magic Dick) kanssa. Yhtyeeseen liittyivät vuonna 1968 Peter Wolf ja rumpali Steve Bladd sekä viimeiseksi Seth Justman.
J. Geils Blues Band levytti alussa blues rock -vaikutteista musiikkia, kuten esimerkiksi vuonna 1970 julkaistu The J. Geils Band ja vuonna 1973 julkaistu Bloodshot. Myöhemmin yhtye siirtyi kaupallisempaan pop/rock-suuntaan ja levytti muun muassa albumit Love Stinks (1980) ja Freeze Frame (1981), jossa viimeksi mainitulla oli mukana tunnettu kappale "Centerfold".
Yhtyeen hajottua vuonna 1985 Geils jätti säännöllisen esiintymisen ja työskenteli autojen parissa, joita hän oli harrastanut jo lapsena isänsä kanssa. Hän perusti KTR Motorsports -nimisen yrityksen, joka huolsi italialaisia automerkkejä, kuten Ferraria ja Maseratia. Hän myi yrityksen vuonna 1996. Geils omisti joukon 1919–1930 valmistettuja italialaisia urheiluautoja ja moottoripyöriä. Geils erosi vaimostaan vuonna 1999 oltuaan naimisissa 28 vuotta.
Soolourallaan hän keskittyi varhaisten vuosiensa mieltymyksiin jazziin ja bluesiin. Hän yhdistyi jälleen Magic Dick & Jay Geils -nimisessä yhtyeessä entisen yhtyekaverinsa Magic Dickin kanssa ja soitti tämän kanssa omien sanojensa mukaan "Chicago-style bluesia ja classic jazzia". He julkaisivat kaksi albumia, Bluestime (1994) ja Little Car Blues (1996).
