Från 1941 till 1964 med den brittiska skådespelerskan Pamela Mason (född Ostrer) (1916–1996); de fick en dotter, Portland Mason Schuyler (1948–2004), och en son, Morgan (som är gift med Belinda Carlisle, sångare i Go-Go's ). Pamela Mason ansökte om skilsmässa från James 1962, på grund av brist på stöd, och hävdade äktenskapsbrott från hans sida med tre Jane Does. Enligt deras son Morgan och andra källor hade Pamela själv haft många affärer, men på grund av sin advokat Marvin Mitchelsons skicklighet vann hon en monetär uppgörelse på minst 1 miljon dollar (9,275 miljoner dollar idag) när äktenskapet slutligen upplöstes 1964; det rapporterades som "Amerikas första miljonskilsmässa". Som ett resultat av denna framgång blev Mitchelson en eftertraktad skilsmässaadvokat för kändisar.
Den australiensiska skådespelerskan Clarissa Kaye (1971 – hans död). Tobe Hoopers DVD-kommentar till Salem's Lot avslöjar att Mason regelbundet arbetade in avtalsklausuler i sitt senare arbete som garanterade Kaye bitar i hans filmframträdanden.
Masons självbiografi, Before I Forget , publicerades 1981.