Když bylo 22. února1803 pasovské knížectví rozděleno mezi dvě kurfiřtství, Toskánsko a Bavorsko, došlo ke sporu mezi Thunem a bavorským ministrem Maxmilianem von Montgelas. Thun opustil Pasov a své úřední pravomoci předal svému generálnímu vikáři a duchovnímu radovi. Biskupské pravomoci předal světícímu biskupovi Karlu Kajetánu von Gaisruck.
Závěr života
Thun pak až do své smrti žil v košířské usedlosti Cibulka, kterou koupil za 112 000 zlatých. Když se biskup Gaisruck stal v roce 1818milánským arcibiskupem, nabídl Thun Svatému stolci svůj návrat do Pasova, jeho nabídka však nebyla využita.