Heiberg er sønn av advokat Jens Gerhard Holmboe Heiberg (1903–1989) og Johanne Marie Baumann Nielsen (1908–1986).[3][4] Han ble gift i 1970 med Else Cathrine Matheson (f. 1947).[5]
Heiberg begynte sin karriere som markedsanalytiker i Norsk Hydro (1965–1966). Etter det hadde han flere lederstillinger i Borregaard (ett år i Paris og seks i år Østerrike), før han begynte som viseadministrerende direktør i Norcem i 1972. Han ble administrerende direktør 1973 og konsernsjef i 1987 for det fusjonerte Aker Norcem.
I 1989 tok han over som president i LOOC, organisasjonskomiteen for Vinter-OL på Lillehammer (1989–1994).[6] I 1994 ble han medlem av IOK og var styremedlem i samme organisasjon fra 2003 til 2017.[7] Deretter æresmedlem.[8] Han var også medlem av koordineringskomitéen for vinter-OL i Nagano, og koordineringskomitéen for vinter-OL i Salt Lake City.[9] I 2004 ble han rangert som nummer 10 på en liste over verdens mektigste personer innen sport, av det uavhengige internasjonale nyhetsbrevet Sport Intern.[10] Heiberg mottok også en del kritikk under tiden han var IOC-medlem. Blant annet så fikk han mye kritikk i 2008 etter at han offentlig gikk ut og avviste kritikken som hadde blitt rettet mot Kina i forbindelse med at de skulle arrangere Sommer-OL i 2008. Bakgrunnen var menneskerettighetssituasjonen i Kina og at de like før OL hadde slått ned opptøyer i Tibet.[11][12][13][14]
^Norsk Telegrambyrå, utgitt 27. februar 1994, besøkt 10. juli 2021, «IOK-presidenten rakk å overrekke LOOC-president Gerhard Heiberg den Olympiske Orden i gull før han erklærte lekene avsluttet»[Hentet fra Wikidata]
^Hoemsnes, Ole N. (28. september 2014). «Gerhard Heiberg». Norsk biografisk leksikon (på norsk). Besøkt 23. januar 2019.
^Skjalg Engebø og Ottar A. Løvik: «Mannen som så ut til å klare alt», Aftenposten, 6. juni 1998, s. 35.
^«St. GERHARD I TÅRER». VG. 27. februar 1994. «LILLEHAMMER (VG) OL-sjef Gerhard Heiberg er blitt som den rene helgen for det norske folks sjef etter 16 fantastiske dager på Lillehammer. I går hadde han sitt gulløyeblikk. Da han bøyde hodet for å bli kommandør av St. Olavs Orden, kom tårene.»