Nomeado governador dos Países Baixos Espanhóis em 1647, fixou a sua residência em Bruxelas e, com a ajuda do pintor David Teniers, o Jovem, reuniu uma preciosa coleção de obras de arte flamengas e italianas. Ao deixar o cargo de governador, mudou-se para Viena com a sua coleção, que forma o núcleo do atual Kunsthistorisches Museum. Dedicou-se à arte nestes anos finais da sua vida art.[2]
Com a sua morte, ocorrida em 1662, foi nomeado como seu sucessor o seu sobrinho Carlos José de Habsburgo, que, morreria muito novo apenas dois anos depois.