La famille des Habsbourg prévoit pour Albert II une carrière ecclésiastique. En 1313, encore mineur, il est élu prince-évêque de Passau mais est entré avec le chanoine Gebhard de Walsee[pas clair] de sorte qu'il doit finalement renoncer à sa fonction. En 1324, il se marie à Jeanne de Ferrette s'emparant du comté de Ferrette (Pfirt) en Alsace.
À la mort de son frère aîné Frédéric le Bel le , Albert II hérite du patrimoine familial, notamment les duchés d'Autriche et de Styrie ainsi que les alleux des Habsbourg situés principalement le long du Rhin Supérieur en Souabe. Il règne d'abord conjointement avec son frère cadet Othon. Les deux frères, par le traité de Haguenau, renoncent à toute prétention au royaume de Germanie et reconnaissent Louis IV de Wittelsbach comme empereur. En échange, ce dernier leur reconnaît des droits sur l'héritage à venir sur la maison de Goritz : l'État de Carinthie avec la marche de Carniole. Leur patrimoine s'accroît donc en 1335 après la mort d'Henri de Goritz[1]. L'héritière d'Henri, Marguerite de Goritz, n'a pu garder que le comté de Tyrol.
En tant que prince du Saint-Empire, Albert II jouissait d'une grande considération. Non seulement il joue le rôle de médiateur dans le conflit qui oppose l'empereur Louis IV au pape Benoît XII, il sert également de médiateur dans le cadre des négociations entre Louis IV, Philippe VI de France et Édouard III d'Angleterre. Le duc est resté fidèlement attaché à l'empereur et à son fils Louis V de Bavière.
Othon meurt à son tour en 1339, laissant deux enfants mineurs qui meurent en 1344.
En 1346, Albert II se rallie au nouvel empereur Charles IV après la destitution de Louis IV[1]. En 1348-1349, Vienne est frappée par la peste noire et perd 40 000 habitants, soit entre 25 et 35 % de sa population. Albert doit intervenir pour protéger ses sujets juifs accusés par la rumeur populaire[2]. Avant de mourir, il établit un règlement imposant à ses quatre fils de gouverner en commun.
