그러나 1225년 마리아가 낳은 딸, 욜란데가 신성로마제국의 프리드리히 2세와 결혼하자 곧 황제 프리드리히는 자신의 예루살렘 왕권을 주장하며 장인인 장을 폐위시켜버렸다. 그는 예루살렘의 왕위에서 쫓겨나 로마로 가서 교황 호노리오 3세에게 도움을 요청하고 교황령토스카나의 총독으로 임명되었다. 그는 사위인 황제 프리드리히가 제6차 십자군으로 자리를 비운 사이 남부 이탈리아를 공격하는등 사위에 대한 복수를 했다.
1228년 그는 라틴 제국에서 황제의 섭정을 맡으라는 연락을 받았는데 그는 자신의 어린 딸 마리아 (세 번째 결혼에서 낳은 4살짜리 딸)과 라틴 제국의 어린 황제 보두앵 2세를 결혼시키는 조건으로 콘스탄티노폴리스로 가기로 했다.
1231년 이미 80에 가까운 나이로 장은 콘스탄티노폴리스로 와서 황제가 되었다. 그는 왕성한 원기를 과시하며 노구를 이끌고 불가리아의 이반 아센 2세와 니케아제국군을 상대로 싸워 1235년 이들을 물리치기도 하였다.