Han var sønn av høyesterettsdommer Ferdinand Schjelderup, og ble gift med Sossen Krohg i 1942. De fikk to barn sammen, før de skilte seg i 1947. I 1948 ble han gift med sangerinnen Anne Brown, og de fikk datteren Vaar Schjelderup (1951). Han ble skilt fra Brown i 1969.
På 1970-tallet bodde han i flere år i Stockholm sammen med operasangeren Ranveig Eckhoff som bidro til flere av hans filmer.
Idrett
Schjelderup var den første nordmann som hoppet over 100 meter på ski, han oppnådde bronse i spesielt hopprenn i Vinter-OL 1948, og var instruktør for det norske hopplandslaget 1957-1962. Som sin far, var han også medlem av Norsk Tindeklub.
Film, bøker og foredrag
Han var spesielt interessert i smalfilm og var kåsør og skribent, samt forfatter av bøker relatert til friluftsliv og reiseliv.