Randall absolvierte die Playhouse-Schauspielschule in New York City und besuchte die Northwestern University in Evanston, Illinois, bei der er Rede und Drama belegte. Er trat in über 50 Filmen auf und spielte bereits in seinem ersten Kinofilm Sirene in Blond eine Hauptrolle. Später war er oft in komödiantischen Rollen zu sehen. Er spielte jeweils den besten Freund bzw. oft auch den ungeschickten Verehrer in Komödien, so an der Seite von Doris Day und Rock Hudson in den Liebeskomödien Bettgeflüster (1959), Ein Pyjama für zwei (1961) und Schick mir keine Blumen (1964). Einen ähnlichen Rollentyp verkörperte er auch als glückloser Verehrer Kim Novaks in Sexy! aus dem Jahr 1962.
In Deutschland wurde er unter anderem durch die Rolle des Felix Unger in der US-Fernsehserie Männerwirtschaft (orig. The Odd Couple) bekannt, die vom ZDF ausgestrahlt wurde. „Gegenspieler“ war Jack Klugman (später bekannt als Dr. Quincy in der Fernsehserie Quincy) als Sportjournalist Oscar Madison. Die Serie wurde 1970 bis 1975 produziert und beruhte auf Neil Simons gleichnamigem Theaterstück, das zuvor bereits mit Jack Lemmon und Walter Matthau verfilmt worden war.
Später trat er als Richter Walter B. Franklin in der Tony-Randall-Show und als Werbegrafiker in Love, Sidney auf. 1998 wurde Randall ein Stern auf dem Walk of Fame in Hollywood gewidmet. Politisch engagierte er sich gegen die Apartheid und sammelte Geld für die AIDS-Hilfe.
Randalls Grabstein, Westchester Hills Cemetery, nahe New York City
Randall war Gründer des National Actors Theatre in New York. Er hält den Rekord, mit 70 Besuchen der häufigste Gast in der Late Show des Moderators David Letterman gewesen zu sein. Er heiratete 1995 zum zweiten Mal, die fünfzig Jahre jüngere Heather Harlan, mit der er zwei Kinder hatte. Randall starb nach einer Herzoperation am 17. Mai 2004 in New York an einer Lungenentzündung.
Buchveröffentlichungen
1989 veröffentlichte Randall seine Biographie Which Reminds Me, ein Erzählband mit Anekdoten aus seinem Leben.
2005 veröffentlichte Jack Klugman ein Buch über die langjährige Freundschaft mit seinem Kollegen Tony Randall: Tony And Me: A Story of Friendship. Klugman sagt darin über Randall, dass dieser der beste Freund gewesen sei, den er je gehabt habe. Er schrieb über ihre immer funktionierende Beziehung zueinander und darüber, wie gut Randall nach seiner Krebsoperation zu ihm gewesen war.
