Filho do meio de três irmãos, todos músicos, mudou-se ainda criança para Ohio. Autodidata, Wes começou a tocar só aos 19 anos, e por influência de Charlie Christian, de quem ouvia os discos e memorizava os solos.
Seis meses mais tarde, já tocava profissionalmente.
Wes tocava guitarra de uma maneira pouco ortodoxa, já que usava o polegar em vez da palheta, bem como um modo único de tocar em oitavas ou em block chords,o que tornava a sua guitarra mais expressiva e melodiosa. Muitos guitarristas do jazz atual nomeiam Wes como uma das suas principais influências, entre os quais: Pat Metheny e George Benson.
Sua extrema liberdade e fluidez no instrumento chamaram, desde o início, a atenção de músicos como Cannonball Adderley, e em 1960 lhe valeriam o prêmio New Star da revista DownBeat.
Wes definiu aquela que viria a ser a sonoridade clássica da guitarra de jazz nos anos 60 e tornou famosa a formação Guitarra, Órgão Hammond e bateria (The Wes Montgomery Trio 1959).
Na manhã de 15 de junho de 1968 em sua casa em Indianapolis, Indiana, ao despertar queixou-se com sua esposa de que não se sentia muito bem, após o que, Montgomery caiu, vindo a falecer de um ataque cardíaco minutos depois. Tinha apenas 45 anos e estava no auge de sua carreira juntamente com seu quinteto de jazz.