Kelly Joe Phelps naît à Sumner, une petite ville située près de Tacoma. Ses parents jouent régulièrement de plusieurs instruments de musique[2].
Phelps joue dans des orchestres de jazz durant une dizaine d'années avant de pratiquer le blues. Il commence à composer et publie ses premiers albums solo au cours des années 1990[3],[4]. Lead Me on, le premier album du guitariste, est édité en 1994 par Burnside Records, un label de Portland. Phelps est signé par Rykodisc. Il enregistre seul ses deux albums suivants, Roll Away the Stone et Shine Eyed Mister Zen, sortis respectivement en 1997 et 1999[5]. Sur Sky Like a Broken Clock, il est accompagné par le bassiste Larry Taylor et le batteur Billy Conway du groupe Morphine[6]. Lee Townsend(en) réalise l'album Slingshot Professionals, sorti en 2003. Phelps invite notamment Bill Frisell et Steve Dawson à prendre part à l'enregistrement[5].