Sorgenfri var oprindelig et område bestående af skov, men i løbet af middelalderen blev der ryddet skov og marker, hvor en del frugtplantager anlagdes.[kilde mangler]
Området blev især bebygget efter besættelsen som et af de første forstadsområder nord for selve København. Bebyggelsen karakteriseres især af villaer og rækkehuse. S-togenes standsning ved Sorgenfri Station fra 1936 var i denne forbindelse medvirkende til at der hurtigt blev skabt grundlag for en udbyggelse af området i 1950’erne og 1960’erne.[kilde mangler]
Det naturskønne område har i dag fået en markant kontrast, eftersom der i 1960'erne blev bygget tre højhuse, navngivet 'Sorgenfrivang II', der blev opkaldt efter Sorgenfri Slot. De tre 14-etagers Sorgenfrivang II-højhuse blev opført i perioden 1956–1959.
I den periode blev også Sorgenfri Butiktorv bygget. [2] Disse højhuse var oprindelig meget attraktive for velstående mennesker. Der eksisterede reception, restaurant, aflevering af vasketøjsordning, tv-stue, etc. Fællesarealerne var eksklusivt møbleret med Erik Jørgensens sofaer, B&O fjernsyn, etc. På byggearealet var der oprindeligt græssende køer på store arealer kaldet Virumgård.[kilde mangler]Virumgård er nu et grønt, familievenligt beboelsesområde med både familie-, studie- og ældreboliger, samt legepladser, græsområder, træbevoksede områder, en sø, nogle fodboldbaner og kolonihaver. Sorgenfrivang II og Virumgård er adskilt af S-togsbanen på strækningen mellem Sorgenfri Station og Virum Station.