Après la mort de leur père à la bataille de Sempach, le , son frère aîné Guillaume lui succède en tant que souverain de l'Autriche intérieure, du comté de Tyrol et de l'Autriche antérieure. Néanmoins, il a dû accepter la tutelle de son oncle Albert III. En 1392, l'administration du Tyrol et de l'Autriche antérieure fut confiée à Léopold IV.
Sceau de Léopold IV, duc d'Autriche.
Finalement, après le décès de son oncle Albert III en 1395, il a conclu un accord avec son frère Guillaume et son cousin Albert IV aux termes duquel il devint souverain de ces pays. Un prince du Saint-Empire, il a été un défenseur de l'électeur Robert III du Palatinat, élu roi des Romains après la destitution de Venceslas de Luxembourg en 1400. Son frère cadet Frédéric IV se fiance avec la fille de Robert, Élisabeth ; dès qu'il atteint sa majorité en 1402, il fut co-régent chargé d'assurer l'administration de l'Autriche antérieure. En 1405, il a subi une lourde défaite dans la bataille au Stoss contre les montagnards d'Appenzell.
Le duc Albert IV d'Autriche est décédé subitement en 1404. Léopold IV a postulé pour la tutelle de son neveu mineur Albert V mais a dû céder la place à Guillaume, le plus ancien frère. Seulement après la mort de Guillaume le , il a pu se concentrer sur la régence en Autriche propre, lorsque Frédéric IV a en plus obtenu le comté de Tyrol. Léopold, toutefois, fut désormais fut prise dans une controverse avec son frère Ernest sur la suprématie des pays autrichiens. Par l'entremise de Sigismond de Luxembourg, le futur empereur, Albert V reste sous la tutelle de ses deux cousins léopoldiniens jusqu'à sa majorité en 1411.
Léopold IV meurt subitement le et fut enterré dans la cathédrale Saint-Étienne de Vienne. Albert V est parvenu à s'imposer comme souverain d'Autriche ; Ernest reste souverain de l'Autriche intérieure, lorsque Frédéric IV régnait sur le Tyrol et l'Autriche antérieure. Ce schéma tripartite des territoires héréditaires des Habsbourg était en vigueur jusqu'aux temps modernes.
