Williams menetti Burch-veljensä lento-onnettomuudessa vuonna 1970. Hän oli vaimonsa Lorrainen kanssa naimisissa vuodesta 1940 tämän kuolemaan (2004). Pari adoptoi kaksi tytärtä ja yhden pojan. Williamsit muuttivat OregoninBrookingsiin vuonna 1983, ja Elmo lahjoitti kaupungille julkisen kappelin vaimonsa muistolle joulukuussa 2008.
Williams julkaisi vuonna 2006 kirjan Elmo Williams: A Hollywood Memoir. Lokakuussa 2010 esitettiin hänen kirjoittamansa kaksinäytöksinen näytelmäThe Corner Pocket, joka tarkastelee ikääntymistä humoristiselta kannalta.
Aiheesta muualla
Elmo Williams Internet Movie Databasessa. (englanniksi)