Balduin var bror till kejsar Henrik VII, och ledsagade sin bror på dennes tåg till Italien. Han stödde senare broderns efterträdare Ludvig Bajraren i dennes kamp mot påven och deltog i kurfurstarnas mot påven riktade förklaring i Rense 1338. Senare uppstod en brytning mellan Balduin och kejsaren, och Balduin slöt sig till motkungen Karl IV, som valdes 1346.