Marie Terezie ho v roce 1740 z úřadu odvolala, ale roku 1742 ho nově zvolený císař Karel VII. znovu jmenoval. Navíc se stal nejvyšším hofmistrem nového císaře, čož vedlo k tomu, že byla jeho manželka v roce 1743, vyhoštěna z Čech, poté co rakouská vojska zemi dobyla zpět.
Jako diplomat císaře Karla VII. se Josef při různých příležitostech pokoušel o mírová jednání mezi Bavorskem a Rakouskem a po smrti Karla VII. v roce 1745 vedl jednání s představitelem Rakouska hrabětem Rudolfem Josefem z Colloreda, což vedlo k Füssenskému příměří. Josef byl nařčen z přílišných ústupků při jednáních o českém majetku své manželky.
Nový císař František I. Štěpán znovu jmenoval Josefa hlavním komisařem, ale jako spolukomisaře mu udělil Habsburkům loajálního barona Karla Josepha von Palma.
Josef Vilém z Fürstenbergu přenesl své sídlo do Donaueschingenu u pramene Dunaje, načež se stávající osada proměnila na město.[2]
Titul
Po dědictví majetku vymřelé heiligenberské a mößkirschské větve zněl Josefův titul kníže na Fürstenbergu, lankrabě v Baaru a Stühlingenu, hrabě na Heiligenbergu a Werdenbergu, svobodný pán na Gudelfingenu, Werenwagu, Immendingenu, Vitorazi a Křivoklátě.[3]
Manželství a potomstvo
Dne 6. června 1723 se oženil s hraběnkou Marií Annou z Waldsteinu (22. 2. 1707 – 12. 11. 1756 Vídeň), dědičkou Křivoklátu,[3] dcerou Jana Josefa z Waldsteinu (1684–1731) a Eleonory Marie z Waldsteinu (1687–1749). Manželé měli šest dětí:
Dne 4. ledna 1761 se oženil s o 37 let mladší hraběnkou Marií Annou von der Wahl (22. 9. 1736 – 21. 3. 1808 Meßkirch), toto manželství však zůstalo bezdětné.[1]
↑ abMAŠEK, Petr. Modrá krev. Minulost a přítomnost 445 šlechtických rodů v českých zemích. 3. upravené. vyd. Praha: Mladá Fronta, 2003. 332 s. ISBN80-204-1049-X. S. 83.