Albrecht II var søn af hertug Albrecht 4. af Østrig og Johanna af Bayern-Straubing. Han var blot syv år, da han arvede farens hertugdømme og regerede i begyndelsen med forskellige slægtninge som formyndere.
I 1421 giftede han sig med den tysk-romerske kejser Sigismunds datter Elisabeth af Bøhmen. Gennem dette ægteskab blev han efter kejserens død arvtager til dennes stilling som konge af Ungarn og Bøhmen. Han kunne dog aldrig tiltræde sin bøhmiske trone, idet der var modstand i landet, som desuden var opbakket af Polen.
Ved en rigsdag i Frankfurt am Main1438 blev Albrecht valgt til tysk konge, men han blev dog aldrig kronet som kejser, idet han faldt under et felttog mod tyrkerne året efter.
