Swoją karierę piłkarską Baldé rozpoczął w juniorach klubów Recreios Algueirão (2006-2007) i SU Sintrense (2007-2013). W 2013 roku zadebiutował w nim w czwartej lidze portugalskiej. W 2014 roku przeszedł do rezerw Sportingu. 11 maja 2014 zadebiutował w nich w drugiej lidze portugalskiej w wygranym 1:0 wyjazdowym meczu z rezerwami Bragi.
Na początku 2015 Baldé został wypożyczony do grającego w trzeciej lidze zespołu Benfica Castelo Branco. Swój debiut w nim zaliczył 15 lutego 2015 w zwycięskim 1:0 domowym meczu z CD Mafra. W Benfice spędził pół roku.
Latem 2017 Baldé trafił na wypożyczenie do pierwszoligowegoCD Aves. Swój debiut w nim zanotował 11 września 2017 w wygranym 2:1 domowym meczu z B-SAD. W maju 2018 zdobył z Aves Puchar Portugalii (wystąpił w wygranym 2:1 finale ze Sportingiem). W Aves występował przez dwa sezony.
W lipcu 2019 Baldé przeszedł za 700 tysięcy euro do francuskiego Dijon FCO. Zadebiutował w nim 10 sierpnia 2019 w przegranym 1:2 domowym meczu z AS Saint-Étienne. W sezonie 2020/2021 spadł z Dijon z Ligue 1 do Ligue 2.
W lipcu 2021 Baldé odszedł z Dijon do Troyes AC za kwotę 3,5 miliona euro. Swój debiut w Troyes zaliczył 7 sierpnia 2021 w przegranym 1:2 domowym spotkaniu z Paris Saint-Germain.
