Albrecht IV był synem Albrechta III Habsburga i Beatrycze Hohenzollern. Po śmierci ojca, który nie wyraził zgody na podział ziem habsburskich Albrecht znalazł się w konflikcie z bratankami z linii styryjskiej, zwłaszcza z najstarszym Wilhelmem, który uważał, że jako najstarszy z rodu to on powinien rządzić. Konflikt miała załagodzić umowa z 1395. Na jej mocy wszyscy Habsburgowie mieli rządzić wspólnie. Jednak Wilhelm uważał się za współwładcę w Austrii odmawiając takiej pozycji Albrechtowi w Styrii, Karyntii i Krainie. Dopiero w 1404, niedługo przed śmiercią Albrechta, Wilhelm i jego bracia zrzekli się władzy w Austrii.
W 1390 Albrecht ożenił się z Joanną Zofią Bawarską. W 1398 odbył pielgrzymkę do Ziemi Świętej. Wspierał Zygmunta Luksemburskiego, który w 1403 skłonił sejm węgierski by zatwierdził Albrechta jako jego następcę.
