Édesapja IV. Vilmos bajor herceg (1493–1550), édesanyja Maria Jakobäa von Baden őrgrófnő volt (1507–1580), I. Fülöp badeni őrgróf és Erzsébet pfalzi hercegnő leánya. Szülei házasságából négy gyermek született:
Tivadar herceg (Theodor, 1526–1534), gyermekként meghalt,
Albert herceg(Albrecht, 1528–1579), trónörökös, 1550-től V. Albert néven uralkodó herceg,
Vilmos (Wilhelm, 1529–1530), kisgyermekként meghalt,
Édesapját, IV. Vilmos herceget követte Bajország élén 1550-től. A művészetek pártolójaként uralkodott, és müncheni műgyűjteményeket alapított. Udvarában élt számos festő és acélmetsző mellett a neves zeneszerző, Orlando di Lasso. Nagy pompa és fényűzés jellemezte udvarát, alattvalóit ugyanakkor súlyos adókkal terhelte, és igen nagy adósságot hagyott örökösére is.
Albert herceg erős katolikus szellemű nevelést kapott. Mélyen hívő katolikusként teljesen a jezsuiták befolyása alatt állt, és uralkodása idején kiirtotta a bajorországi lutheránusokat.
Albert herceg 1579-ben, 29 évnyi uralkodás után hunyt el, utóda fia, V. Vilmos lett.