Passò poi al servizio dell'Austria, ma raggiunse Varsavia e si unì alla corte in esilio del pretendente al trono di Francia, il fratello minore di Luigi XVI, il Comte de Provence, il quale gli affidò diversi incarichi, tra cui una missione a San Pietroburgo. Malgrado l'aiuto di Joseph de Maistre, inviato diplomatico del Regno di Sardegna presso la corte dello zar Alessandro I, fu in grado di ottenere solo piccoli vantaggi per il futuro re. La sua disponibilità a fare qualsiasi cosa per il pretendente, però, gli guadagnò la sua fiducia e la sua confidenza: nel 1809 fu nominato grand-maître de la Garde-Robe du Roi («gran maestro del guardaroba del Re») e nel 1811, dopo la morte del Comte d'Avaray, divenne il favorito è più fidato consigliere del Provenza.
Quando, con la caduta di Napoleone nel 1814, il Comte de Provence divenne re col nome di Luigi XVIII, Blacas fu nominato Ministre de la Maison du Roi, «ministro della Casa reale», e ricevette il rango di Maréchal de camp; al contempo, assunse un ruolo dominante nel nuovo Conseil du Roi, divenendone di fatto il primo ministro, ma la sua inesperienza lo indusse a commettere molti errori, favorendo troppo spesso esponenti dell'Ancien Régime, e inimicandosi molte persone per il suo carattere freddo. Dopo il ritorno di Napoleone dall'Elba, Blacas accompagnò Luigi nella sua fuga a Guanto; al ritorno del re a Parigi dopo la battaglia di Waterloo, l'impopolarità di Blacas ne suggerì la rimozione, sebbene ricompensata con la nomina a pari di Francia col titolo di Comte de Blacas d'Aulps. Ben presto il suo posto di consigliere reale fu preso da più moderato Élie Decazes.
Durante la sua permanenza a Roma, fu molto attivo nella vita culturale. Nel 1817 fornì all'artista francese Jean Auguste Dominique Ingres la sua prima commissione ufficiale dal 1814, e divenne patrono del classicista tedesco Theodor Panofka, che lo seguì a Parigi nel 1828. Lavorò a stretto contatto con l'archeologo italiano Carlo Fea nello scavo del Foro Romano, identificando insieme a lui il Tempio di Castore e Polluce nel 1816; acquistò da un collezionista prussiano il tesoro dell'Esquilino, una serie di pezzi d'argenteria tardo-romana ritrovata sull'Esquilino a Roma.
Luigi XVIII elevò il suo titolo di Comte a Duc de Blacas il 30 aprile 1821. Dopo la sua morte, il nuovo re Carlo X, lo scelse come uno dei suoi gentilhommes de la chambre. Blacas fu anche nominato intendant général des Bâtiments de la Couronne. Durante la sua amministrazione, sostenne l'orientalista Jean-François Champollion e creò il "Musée Egyptien" all'interno del Louvre. Nel corso della sua vita, Blacas ammassò una ricca collezione di antichità, che Joseph Toussaint Reinaud descrisse in parte nella pubblicazione intitolata Description des monuments musulmans du cabinet du duc de Blacas («Descrizione degli oggetti musulmani nel gabinetto del Duca di Blacas») nel 1828; nel 1866, i suoi discendenti vendettero gran parte della sua collezione al British Museum.
Nel 1830 Blacas seguì i Borboni in esilio. Successivamente, fu cruciale nel licenziamento della Duchesse de Gontaut, governante dei nipoti del re, di cui si temevano le posizioni politiche relativamente liberali. Nel 1838 fu creato Fürst von Blacas d'Aulps («Principe di Blacas d'Aulps») dall'imperatore d'Austria.
Morì il 17 novembre 1839 e fu sepolto vicino alla cripta dei Borboni al monastero di Castagnevizza a Gorizia, in Austria (oggi Slovenia); sua moglie morì a Parigi il 10 ottobre 1856. Il figlio Louis, anche lui antiquario e legittimista, gli succedette come Duca di Blacas.