Hij werd geboren als John Len Chatman (niet als Peter Chatman, zoals hij zelf beweerde) in Memphis (Tennessee) en leerde zichzelf al op 7-jarige leeftijd piano spelen. Zijn eerste band, waarin hij overigens de contrabas bespeelde, vormde hij terwijl hij nog op school zat. Vanaf 1931 trad hij op in clubs in Memphis.
Na een ontmoeting met Roosevelt Sykes (een van zijn grote voorbeelden) in 1932 besloot hij in de zuidelijke staten op tournee te gaan. In die tijd verwierf hij zich de reputatie van uitstekende barrelhousepianist. In 1937 vestigde hij zich in Chicago. In deze periode verdiende hij zijn brood met het verhuren van zijn als opnamestudio ingerichte appartement.
In 1940 (2 augustus) nam hij zijn eerste plaat als Peter Chatman & His Washboard Band voor het Okeh Label op. In hetzelfde jaar (30 oktober) nam hij de naam Memphis Slim aan, en nam Beer Drinkin' Woman en Grinder Man op voor het Bluebird Label. Beide titels werden een groot succes. Het was ook in die periode dat hij samenspeelde met de bekende bluesgitarist Big Bill Broonzy, "the man that started me out in the blues" zoals hij later zelf zou zingen in I feel so good.
Met een begeleidingsband geeft hij een reeks concerten, op de affiches aangekondigd als Memphis Slim and his Solid Band. In 1947 verandert de naam in House Rockers en Slim neemt platen op als Every Day I Have the Blues en Wish Me Well. Zijn meest populaire song, Mother Earth, nam hij op in 1950.
