Când a aflat că Matilda a transferat în ascuns proprietățile sale Bisericii încă înainte de căsătoria lor, Welf a părăsit-o în 1095 și, alături de tatăl său, Welf I de Bavaria, au schimbat tabăra trecând de partea regelui Henric al IV-lea, probabil în schimbul promisiunii acestuia de a fi succesorul tatălui său în Ducatul de Bavaria.
Într-adevăr, după moartea tatălui său în 1101 Welf a moștenit titlul de Duce al Bavariei. Din această poziție, el a continuat să fie fidel alianței cu regii din Dinastia Saliană. El nu s-a recăsătorit și a murit în 1120 fără a lăsa urmași. Welf al II-lea a fost înmormântat în Abația Weingarten.