czterokrotnie żonaty: 1. Virginia Ray (1936 - 1942, rozwód), córka Victoria (ur. 1940); 2. Virginia Anderson (1943 - 1964, rozwód), synowie: Stephen (ur. 1944) i David (ur. 1946); 3. Geraldine Brooks (od 1964 do jej śmierci 19.06.1977); 4. Betsy Ann Langman (od 09.06.1978 do jego śmierci), 2 dzieci: Benn Stuart (ur. 1979) i Jessica Adeline (ur. 1981)