Het Koninkrijk der Beide Siciliën viel in 1861, waarop de koninklijke familie in ballingschap ging. In eerste instantie gingen Frans en zijn gezin naar Rome, waar ze onder bescherming stonden van Paus Pius IX. Maar later werd het grondgebied van de paus ook binnengevallen door Victor Emanuel II van Italië en week Frans met zijn gezin uit naar Frankrijk. Hij stierf in 1892 te Parijs op 65-jarige leeftijd.