Kirjassaan Inside Gilligan’s Island (1988) Schwartz mainitsi, ettei hän tullut lainkaan toimeen Red Skeltonin kanssa – hänen sopimukseensa jopa sisältyi kohta, joka takasi, ettei hänen tarvinnut tavata tätä kasvokkain.
Schwartz oli joulukuusta 1941 naimisissa Mildred Seidmanin kanssa. Heillä oli neljä lasta: Lloyd, Ross, Elroy ja Hope. Viimeksi mainitun on kerrottu saaneen nimensä Bob Hopen mukaan.