Po zániku Rakouska-Uherska v roce 1918 vznikla potřeba zřízení rakouského velvyslanectví v novém Československu. V roce 1919 byl pověřen zřízením diplomatického zastoupení v Praze Ferdinand Marek. 11. dubna 1922 předal československému prezidentu Masarykovi své pověření rakouského vyslance.
Po anšlusu Rakouskanacistickým Německem v roce 1938 bylo velvyslanectví uzavřeno. Marek přesto zůstal v Praze a usiloval o obnovu činnosti. Od provizorní československé vlády si nechal schválit obnovu činnosti a hned po skončení války, už 12. května 1945, práci velvyslanectví skutečně znovu zahájil. Ještě v květnu téhož roku však byl zatčen sovětskými osvoboditeli a v roce 1947 zemřel ve vězení v Moskvě. Budova velvyslanectví v té době sloužila jako útočistě pro osoby prchající do Rakouska.[1]
Diplomatické zastoupení a konzulát se nacházejí v ulici Viktora Huga 500/10 v Praze 5 -Smíchově. Budova z konce 19. století je již od roku 1922 v majetku rakouského státu.