Браян Баєє є вихованцем футбольної школи французького клубу «Труа». Але провів лише дві гри у дублюючому складі команди[1] і в 2019 році відбув до Італії, де приєднався до клубу Серії С «Катандзаро».[2] Другу половину сезону 2020/21 футболіст провів в оренді в іншому клубі Серії С «Карпі».
Влітку 2022 року Баєє перейшов до клубу «Торіно»[3] і 6 серпня 2022 року футболіст дебютував на професійному рівні у Серії А.[4] Та в подальшому захисник не зумів закріпитися в основ, провівши лише два матчі і наступний сезон почав у клубі Серії В «Асколі», куди відправився на правах оренди.[5]