Johnny Mathis is sinds 1957 onder contract bij het platenlabel Columbia Records, maar tussen 1963 en 1967 publiceerde hij echter enkele albums bij Mercury Records. Vooral zijn kerstalbums werden steeds weer bestsellers. Merry Christmas (1958) kreeg bijvoorbeeld vijf keer platina. Daarnaast is het album Johnny's Greatest Hits uit hetzelfde jaar een mijlpaal in de hithistorie. 490 weken bleef de hitverzameling in de Amerikaanse hitlijst en het is na The Dark Side of the Moon van Pink Floyd de langst geklasseerde lp in de pophistorie.
Zijn grootste hits zijn It's Not for Me to Say (1957), Chances Are (1957, VS, 1e plaats), The Twelfth of Never (1957), A Certain Smile (1958), Someone (1959), Misty (1959), My Love for You (1960), Gina (1962), What Will Mary Say (1963), Life Is a Song Worth Singing (1974), I'm Stone in Love with You (1975), When a Child Is Born (1976, UK, 1e plaats), Too Much, Too Little, Too Late (1978, VS, 1e plaats, duet met Deniece Williams), Gone Gone Gone (1979) en Friends in Love (1982, duet met Dionne Warwick). Na zijn succesvolle hitduetten met Dionne Warwick en Deniece Williams, waarmee hij in 1978 het album That's What Friends Are For opnam, stond Johnny Mathis zeer vaak met andere prominente, vrouwelijke collega's in de studio, waaronder Barbra Streisand, Barbara Dickson, Angela Bofill, Patti Austin, Gladys Knight, Paulette McWilliams[2], Stephanie Lawrence[3], Jane Olivor en Nana Mouskouri. Tot zijn grote voorbeelden telt bovendien de zangeres Lena Horne, wier stijl hij naar eigen zeggen imiteerde.
Mathis streefde in het bijzonder in de jaren 1970 naar muzikale veelzijdigheid. De albums I'm Coming Home (1973) en Mathis is … (1977) werden geproduceerd door de Philly soul-legende Thom Bell[4]. Een jaar later ontstond de lp The Heart of a Woman, geproduceerd door Johnny Bristol, die voorheen als songwriter en producent van talloze hits voor Motown verantwoordelijk was. Op de albumcover toonde Mathis zich in jeans en open hemd ongewoon nonchalant. Op het hoogtepunt van de discogolf nam de zanger net als zijn crooner-collega's Frank Sinatra en Andy Williams liederen in deze stijl op. Het album The Best Days of my Life (1979) bevatte meerdere disco-beïnvloede nummers, waaronder de Britse hit Gone, Gone, Gone (15e plaats), ook als de nog in hetzelfde jaar gepubliceerde lp Mathis Magic. Zo ontstonden ook disco-versies van de bekende Cole Porter-standards Night and Day en Begin the Beguine. Op Mathis' lp Different Kinda Different (1980) bevindt zich bovendien zijn interpretatie van de disco-klassieker I Will Survive.
Ook tegenwoordig publiceert Mathis regelmatig platen, die de trouw van zijn fans aanduiden. Voorts is hij een uiterst populaire concert-attractie. In 2006 maakte Mathis jazz-opnamen met de Big Phat Band.
In december 2017 verscheen met The Voice of Romance: The Columbia Original Album Collection een veelomvattende presentatie van zijn totale carrière. De 68 cd's omvattende box bevat meerdere studio-albums, bovendien talrijke niet eerder gepubliceerde opnamen, waaronder het album I Love my Lady, een door Nile Rodgers geproduceerd disco-project, dat stilistisch aan Rodgers' Chic-platen aanleunt.
