Pankow is van Iers-Duitse afkomst; hij groeide op in een gezin van negen kinderen en verhuisde op achtjarige leeftijd naar Park Ridge, Illinois. Beïnvloed door zijn vader Wayne leerde hij op de basisschool trombonespelen; zijn jongere broer werd later acteur. Pankow kreeg een muziekbeurs en studeerde de bastrombone aan de kunstuniversiteit van Quincy; na afronding van het eerste jaar bracht hij de zomervakantie thuis door en begon hij op te treden met zijn eerste band. Pankow wilde hiermee doorgaan en liet zich overplaatsen naar de DePaul University in Chicago. Hij werd vast lid van het genootschap Phi Mu Alpha Sinfonia.
De voltallige blazerssectie van Chicago (Pankow, Parazaider en trompettist Lee Loughlane) speelde mee op Celebrate van Three Dog Night uit 1969, en op diverse nummers van het Bee Gees-album Spirits Having Flown uit 1979; dit als tegenprestatie voor de bijdrage die de gebroeders Gibb aan het Chicago-album Hot Streets hadden geleverd. Door het succes van If You Leave Me Now en Baby, What a Big Surprise wilde de platenmaatschappij alleen nog maar ballads van Chicago, en vervulden de blazers gedurende de jaren 80 een ondergeschikte rol. Pankow verleende zijn medewerking aan diverse albums van de rockband Toto waaronder Toto IV uit 1982 (bekroond met een Grammy Award) en Falling in Between uit 2006 waarvoor hij de blazerspartijen schreef en waarop hij meespeelde op het nummer Dying on my Feet.
Persoonlijk leven
James Pankow is getrouwd met Jeanne Pacelli; ze hebben twee kinderen, Carter (1999) en Lilli (2002). Zijn eerste huwelijk met Karen hield achttien jaar stand en bracht eveneens twee kinderen voort; zoon Jonathan (1981) en dochter Sarah (1986).