V roce 1690 se oženil se svou sestřenicí Zuzanou Antonií Heussenstammovou, hraběnkou z Heissensteinu dcerou Marie Františky z Vrtby. Svatba se konala na Bezdězu a nevěsta do manželství přinesla značný pozemkový majetek. Kvůli blízkému příbuzenskému vztahu bylo ke svatbě třeba papežského dispensu, což dokazuje nakolik Jan Josef o manželství stál (to ale nemusí znamenat, že stál také o nevěstu). Manželství zůstalo bezdětné a hrabě z Vrtby se po smrti své ženy 11. února 1715 už znovu neoženil, ačkoli mu bylo teprve 46 let a byl bezdětný. Nelze tedy vyloučit, že svou manželku opravdu miloval. Po její smrti nacházel útěchu zejména v umění, oblíbil si zvláště operu. Stal se mecenášem architektů, sochařů, malířů a hudebníků. Mezi umělce, které podporoval, patřil i benátský hudební skladatel Antonio Vivaldi.[3] Zámek Konopiště, který koupil roku 1716, kvůli své bezdětnosti odkázal synovi svého bratra Františku Václavovi z Vrtby.[4]
Ihned po jmenování do čela české politické reprezentace roku 1712, zahájil velkorysou přestavbu rodového paláce na pražské Malé Straně spojenou především s výstavbou přilehlé zahrady na úpatí Petřína, dnes známou jako Vrtbovská zahrada. Hrabě realizací pověřil jedny z nejlepších českých umělců své doby, především architekta Františka Maxmiliána Kaňku, sochaře Matyáše Bernarda Brauna a malíře Václava Vavřince Reinera.[1] Stavební práce v zahradě byl dokončeny k roku 1720, malířská a sochařská výzdoba byla doplňována v následujících letech a snad byla hotová k příležitosti korunovace Karla VI. českým králem.[3]
Hrabě Jan Josef byl také donátorem 2. kaple poutní cesty od pražské Lorety do kláštera v Hájku. Kaple byly stavěny v letech 1720–1724.
