Dal 1946 al 1988 ha fatto parte di un duo comico chiamato Bob and Ray; insieme a lui c'era l'attore Ray Goulding (1922-1990). Si trattava di un duo di improvvisazione e satira che ha lavorato in televisione negli anni '50 con un programma trasmesso dalla NBC, ma anche in film e in radio.
Dal 1943 al 1953 (divorzio) è stato sposato con Jane Underwood. Dal 1954 al 2012 (morte della moglie) è stato sposato con Lee Peppers.
Con la seconda moglie ha avuto tre figli: Chris Elliott, Bob Elliott Jr. e Amy Andersen. La coppia ha anche adottato altri due figli, per un totale di cinque. Tra i suoi nipoti vi sono le attrici Abby Elliott e Bridey Elliott.