לאחר הדחתם התגוררו בני המשפחה בפונטנבלו, ולאחר מכן עברו לקומפיין, תוך שם סובלים ממחסור וממחלות. בהמשך הם הועברו לניס, וכשניסתה אמו לברוח משם לאנגליה נעצרה ונשלחה למנזר ברומא, שם הייתה כלואה 4 שנים עד לאחר מפלתו של נפוליאון, ואילו קרלו ואחותו נמסרו תחת חסותם של הורי אמו, מלכי ספרד המודחים, שהתגוררו ברומא.
לאחר שחרורה של אמו התגוררו בני המשפחה עם הורי אמו בארמון ברבריני ברומא, ואמו קיוותה שקונגרס וינה יחזיר את קרלו לשלטונו באטרוריה. כשברח נפוליאון מהאי אלבה, ברחו בני המשפחה מרומא, והסתובבו בכל רחבי איטליה, עד לאחר מפלת נפוליאון בקרב ווטרלו.
ב-2 בדצמבר1817 הגיעו בני המשפחה ללוקה, וקרלו קיבל את התואר "נסיך הכתר של לוקה". בשל תהפוכות השנים הראשונות לחייו, לא קיבל קרלו חינוך פוליטי פורמלי, אך באמצעות לימוד עצמי רכש ידע רב. קרלו למד מוזיקה, רפואה ומדעי הרוח, והאידאולוגיה שלו הושפעה מהרומנטיקה הנאורה של תקופת השלום לאחר המלחמות הנפוליאוניות.
כנסיך הכתר, התנגש קרלו הרבה עם אמו השמרנית, ולא אהב את השליטה האבסולוטית שלה. היחסים בין קרלו לאמו הפכו למתוחים עם השנים, ומאוחר יותר התלונן קרלו שאמו "הרסה אותו פיזית, מוסרית וכספית".[1]
קרלו ביצע רפורמות במערכת המיסים, ושיפר את מערכת החינוך והרפואה בדוכסות, אולם אכזב את האזרחים בכך שלא החזיר את החוקה משנת 1805. עם זאת עיקר הכוח בדוכסות היה למעשה בידי ראש ממשלתו אסקניו מנסי, שהוא למעשה שלט בדוכסות.
בשנת 1833 נקלע קרלו לחובות, ומשום כך מיעט בנסיעות לחו"ל, בשנת 1836 ביקר בווינה, ובשנת 1837 התיר קרלו פתיחת קזינו בדוכסות, וקידם רפורמה במועצת המדינה ומועצת השרים. בשנת 1838 היה קרלו בהכתרת פרדיננד הראשון, קיסר אוסטריה במילאנו, ולאחר מכן ביקר בצרפת ואנגליה. בשנת 1840 מת מנסי בזמן שקרלו שהה ברומא, ולאחר מכן נטל קרלו לידיו את מושכות השלטון.
.gif){kind=small}
