Venu du gospel, ce jeune noir chante à Détroit dans l'orchestre de Paul Williams, où on lui donne son surnom de « Little Willie John » car il mesurait 1,63 m. Il fait ses débuts chez Prize à l'âge de seize ans, puis est engagé chez King Records où il sort en 1956 son premier tube, Fever, qui deviendra un classique, repris par Peggy Lee puis par des dizaines d'artistes après elle. Talk To Me, Talk To Me en 1958 et Leave My Kitten Alone en 1959 feront également l'objet de nombreuses adaptations. Il est fréquemment accompagné par les Upsetters, anciens musiciens de Little Richard.
Il est condamné pour homicide volontaire après avoir poignardé quelqu'un lors d'une bagarre dans un bar à Seattle. Il est emprisonné au pénitencier où il meurt deux ans plus tard d'une pneumonie à l'âge de trente ans.
