בסוף אוגוסט 1942 נערכה פשיטה של ז'נדרמים צרפתים על בית הילדים בטירת שאבאן, עצרה מספר אנשי צוות וילדים, והם נשלחו למחנות ההשמדה הנאציים במזרח אירופה, שם נספו כולם למעט שניים. שברייה קיבל לידיו רשימת שמות של ילדים יהודים, והצטווה להסגירם לידי המשטרה הצרפתית. הוא ניצל אי דיוקים ברשימה כדי לטעון שלגבי חלק מהילדים, הוא אינו יודע היכן הם, ולגבי האחרים, הם נמלטו. בין הילדים ברשימה היה הרברט אודנהיימר (Odenheimer),[1] ששמו נרשם בטעות "אופנהיימר" (Oppenheimer).
אחרי 31 באוגוסט 1942 פוּזרו רוב הילדים ששמותיהם הופיעו באותה רשימה בין משפחות נוצריות.
בסוף 1943 החליט ארגון האוז"ה לסגור את בית הילדים מחשש לשלום הילדים ולפזר את הילדים במקומות מסתור חלופיים. חלק מהילדים השוהים בבית הילדים פוזרו בין בתיהם של נוצרים שהצילו אותם עד תום השואה, וחלק מהילדים הוברחו לשווייץ, בסיוע נוצרים. חלק מנוצרים מצילים אלה קיבלו לימים את אות חסיד אומות העולם מיד ושם.
