À la suite de l'élection d'Adolf Hitler, les membres de la famille Wittelsbach commencent à souffrir de la persécution par les nazis. Dès le début du 3e Reich, le palais des Wittelsbach à Munich leur est confisqué et sert à partir d' de siège munichois de la Gestapo, puis à partir de 1934-1935, de prison de la Gestapo. Le château de Leutstetten, résidence d'été de la famille, leur est également confisqué.
À partir de 1936, Irmingard et sa sœur Editha sont envoyées au pensionnat du couvent du Sacré-cœur en Angleterre à Roehampton. L'année suivante, ses sœurs Hilda et Gabriele les rejoignent. Heinrich, se rend, lui aussi, en Angleterre en 1938 et étudie à partir de ses 16 ans à l'université d'Oxford.
Mariage en France
Le 30 juillet 1951, à Saint-Jean-de-Luz, Heinrich de Bavière épouse civilement, puis religieusement le lendemain en la chapelle Saint-Joseph également à Saint-Jean-de-Luz[4], Anne de Lustrac, née le à Neuilly-sur-Seine, fille de Jean baron de Lustrac, officier de l'armée française et vétéran décoré de la Première Guerre mondiale, et de son épouse américaine, Helen Reid, fille de Fergus Reid, originaire de Norfolk en Virginie. Elle reçoit de son beau-père, Rupprecht de Bavière, la croix de l'ordre de Sainte-Élisabeth[4]. Le couple n'a pas eu d'enfants[5].
Nicolas Énache, La descendance de Marie-Thérèse de Habsburg, Paris, Éditions L'intermédiaire des chercheurs et curieux, , 795 p. (ISBN978-2-908003-04-8)..
Michel Huberty et Alain Giraud, L'Allemagne dynastique : Wittelsbach, t. IV, Le Perreux-sur-Marne, Alain Giraud, , 545 p. (ISBN978-2-901138-04-4).