Zenei karrierjét dobolással kezdte, közben egy ujjal zongorázott. 1938-ban vette kezébe az elektromos négyhúros tenorgitárt. 1940-ben csatlakozott a Cats and the Fiddle énekegyütteshez, gitárosként és énekesként. 1943-ban az Art Tatum Trió gitárosa lett, és számos felvétele készült Tatummal. Tatum után Grimes saját New York-i együttesével, vezető zenészekkel, köztük Billie Holiday-jel készített felvételeket. Négy felvéte készült ekkor együttesét Charlie Parkerrel kiegészítve: a „Tiny's Tempo”, a „Red Cross”, a „Romance Without Finance” és az „I'll Always Love You Just the Same”; az utóbbi kettőn énekelt.
Az 1940-es évek végén nagy sikert aratott a Loch Lomond c. dal dzsessz verziójában, a Tiny „Mac” Grimes and the Rocking Highlanders néven emlegetett bandával.