Za II. světové války se belgická armáda postavila na odpor nacistické invazi, ale německá vojska měla velkou převahu. I přes hrozící brzkou porážku odmítl král Leopold opustit zemi se členy belgické vlády, což způsobilo mezi ním a vládou rozkol. Následně se 27. května1940 vzdal Němcům. Protože odmítal spolupráci s nacisty, zřídili Němci v Belgii vojenskou vládu a Leopolda III. drželi v domácím vězení v královském paláci v Bruselu. Odtud ho roku 1944 i s rodinou převezli do Německa, kde byl držen nejprve na saském hradu Hirschstein a posléze v rakouském Stroblu.
Královská rodina byla počátkem května 1945 osvobozena americkými vojáky, návrat do Belgie jim však nebyl umožněn. Exilová vláda vinila krále z kolaborace s nacisty, z níž byl roku 1946 sice očištěn, ale v zemi i nadále panovaly spory ohledně jeho opětovného návratu do vlasti. Leopold III. žil až do roku 1950 s rodinou v exilu v Ženevě, zatímco Belgii spravoval coby regent jeho mladší bratr princ Karel. Po návratu do Belgie Leopold abdikoval ve prospěch svého syna Bauduina, který se stal belgickým králem 16. července1951.
Po své abdikaci byl Leopold až do Bauduinova sňatku roku 1960 synovým poradcem. Poté se věnoval svým koníčkům – sociální antropologii a etymologii, přičemž hodně cestoval po světě. Zemřel roku 1983 v belgickém Woluwe-Saint-Lambert.
Rodina
Dne 4. listopadu 1926 se tehdy ještě belgický následník trůnu Leopold oženil ve Stockholmu s princeznou Astrid (1905–1935), vnučkou švédského a norského krále Oskara II., dcerou prince Karla, vévody Westrogothského (1861–1951) a jeho ženy, dánské princezny Ingeborg (1878–1958). Astrid tragicky zahynula 29. srpna 1935 při autohavárii poblíž Lucernského jezera ve Švýcarsku. Z jejich svazku vzešly tři děti:
Albert II. (* 6. června 1934), belgický král v letech 1993–2013 ⚭ 1959 Paola Belgická (* 11. září 1937)
Během svého domácího vězení v nacisty okupovaném Bruselu se Leopold III. oženil s Mary Lilian Baelsovou (1916–2002), dcerou guvernéra Západních Flander Henriho Louise Baelse (1878–1951) a jeho ženy Anne Marie de Visscher. Církevní sňatek se odehrál 11. září1941, občanský až 6. prosince1941. Lilian se po sňatku nestala královnou, ale pouze princeznou belgickou s titulem princezny de Réthy. Z jejich svazku vzešly tři děti: