Memphisben született egy prédikátor fiaként. Abbahagyta a középiskolát, hogy csatlakozzon az Amerikai Egyesült Államok haditengerészetéhez. A kötelességei nagy része nem teljasítése miatt azonban elbocsátották. Ekkor zongoristaként csatlakozott az Adolph Duncan's Bandhez és a memphisi Beale Street környékén játszott. A helyi zenészek között a Beale Streeters ismertté vált, mert B. B. King, Bobby Bland, Junior Parker, Earl Forest, Roscoe Gordon ott is játszott. Kezdetben ezek nem voltak még profi zenekarok, de időnként volt vezetőjük. Egymás lemezein játszottak.
1951-ben Ike Turner – aki akkor a Modern Records tehetségkutatója és producere volt – megszervezte, hogy a Beale Streetiek készítsenek felvételeket Turner kiadójának. Ace zongorázott már B. B. King néhány lemezén az RPM Recordsnál. Amikor King Los Angelesbe távozott, Ace átvette az énekesi feladatokat és King rádióműsora vezetését is.
Állítólaga WDIA rádióállomás programigazgatója (és a Duke Records alapítója) adta neki a „Johnny Ace” művésznevet.
Ace 1952-ben Duke kiadta első lemezét, a "My Song"-ot, egy városi "szívballadát", amely szeptembertől kilenc héten át vezette az R&B toplistát.
A következő két évben egymás után nyolc slágere aratott sikert. Ace szólistaként is sikeres lett. 1954-ben a 16. helyen végzett a Billboard 1954 Disk Jockey szavazásán az R&B kedvenc előadói között. A Cash Box amerikai kereskedelmi hetilap által a lemezlovasok körében végzett országos közvélemény-kutatás eredménye szerint 1954 legjobban eltökélt művészének választották.
Felvételei nagyon jól fogytak. 1955-ben a Duke Records közölte, hogy 1954-es felvételei közül három, köztük a Hound Dog[8] több mint 1 750 000 példányban kelt el.
John Marshall Alexander Jr. (Johnny Ace) egy eltévedt lövés következtében 25 éves korában meghalt.