A quattordici anni, nel 2005, inizia la sua carriera nelle giovanili della Virtus Bologna. Nel corso della stagione 2008-2009 entra a far parte dell'orbita della prima squadra, con cui in due anni colleziona le prime cinque apparizioni in Serie A.
Nelle stagioni 2010-2011 e 2011-2012 gioca in prestito nel Perugia Basket nella terza serie nazionale. Nell'estate 2012 viene girato al PMS Torino,[2] altra società militante in terza serie, squadra che chiude la Divisione Nazionale A 2012-2013 al primo posto anche grazie ai 10,5 punti e 6,0 rimbalzi di Baldi Rossi, andando poi a vincere i play-off senza mai essere sconfitta.
Il 9 agosto 2013 inizia la sua parentesi all'Aquila Basket Trento,[3] all'epoca impegnata nella Divisione Nazionale A Gold 2013-2014. Con 9,5 punti e 6,8 rimbalzi (poi diventati 11,2 punti e 7,6 rimbalzi nei play-off), contribuisce al raggiungimento della prima storica promozione del club bianconero in Serie A. Baldi Rossi rimane in rosa giocando quasi 17 minuti di media nella formazione trentina la quale nel frattempo si afferma nella massima serie fin da subito, chiudendo la Serie A 2014-2015 al quarto posto da neopromossa. Il 3 febbraio 2016, durante la partita delle Last 32 di Eurocup contro la Grissin Bon Reggio Emilia, si infortuna al ginocchio sinistro, tanto da dover subire un'operazione al legamento crociato anteriore[4] che gli fa saltare il resto della stagione.[5] Ritornato in campo l'anno seguente, supera i 10 punti di media avendo chiuso la regular season della Serie A 2016-2017 con 10,4 punti e 5,2 rimbalzi in 25 presenze. Quell'anno la formazione trentina avanza fino a raggiungere le finali scudetto perse contro la Reyer Venezia, anche se Baldi Rossi è costretto a saltare le ultime giornate e tutti i play-off per via di un infortunio al ginocchio sinistro riportato il 2 aprile nella trasferta di Milano.[6]
Inizia a Trento anche la stagione 2017-2018, ma il 30 novembre 2017 lascia il club dopo oltre quattro anni e torna ad essere un giocatore della Virtus Bologna.[7] Nel maggio 2019 vince la Basketball Champions League. Nel giugno dello stesso anno rinnova per altri due anni diventando inoltre il nuovo capitano della squadra. Il 15 luglio del 2020 rescinde tuttavia il proprio contratto con i bianconeri.[8] Il giorno successivo viene annunciata la sua firma con la Pallacanestro Reggiana,[9] con cui gioca per due annate.
Nel luglio 2022, dopo le otto stagioni consecutive trascorse nella massima serie, Baldi Rossi scende in Serie A2 firmando un contratto biennale con la Pallacanestro Cantù,[10] successivamente rinnovato fino al 2026.[11] Nel frattempo, a partire dalla stagione 2023-2024, diventa il nuovo capitano della squadra.[12]
Nel 2017 con la nazionale maggiore partecipa prima alle qualificazioni e poi alle fasi finali dei Campionati Europei di quell'anno, manifestazione che vede gli azzurri arrivare fino ai quarti di finale persi il 13 settembre contro la Serbia.[14]
Il 20 febbraio 2020, dopo circa due anni e mezzo di assenza, torna a giocare in Nazionale. Tre giorni più tardi, il 23 febbraio, contro l'Estonia realizza il suo career high con la maglia azzurra mettendo a referto 10 punti.
^ Ufficio Stampa FIP, Tabellino del match su FIP.it, in FIP.it, 20 agosto 2017. URL consultato il 21 agosto 2017 (archiviato dall'url originale il 21 agosto 2017).
^ Ufficio Stampa FIP, Tabellino del match su FIP.it, in FIP.it, 23 agosto 2017. URL consultato il 23 agosto 2017 (archiviato dall'url originale il 24 agosto 2017).
^ Ufficio Stampa FIP, Tabellino del match su FIP.it, in FIP.it, 24 agosto 2017. URL consultato il 24 agosto 2017 (archiviato dall'url originale il 25 agosto 2017).
^ Ufficio Stampa FIP, Tabellino del match su FIP.it, in FIP.it, 31 agosto 2017. URL consultato il 31 agosto 2017 (archiviato dall'url originale il 1º settembre 2017).
^ Ufficio Stampa FIP, Tabellino del match su FIP.it, in FIP.it, 2 settembre 2017. URL consultato il 2 settembre 2017 (archiviato dall'url originale il 3 settembre 2017).
^ Ufficio Stampa FIP, Tabellino del match su FIP.it, in FIP.it, 3 settembre 2017. URL consultato il 4 settembre 2017 (archiviato dall'url originale il 4 settembre 2017).
^ Ufficio Stampa FIP, Tabellino del match su FIP.it, in FIP.it, 5 settembre 2017. URL consultato il 5 settembre 2017 (archiviato dall'url originale il 5 settembre 2017).
^ Ufficio Stampa FIP, Tabellino del match su FIP.it, in FIP.it, 6 settembre 2017. URL consultato il 6 settembre 2017 (archiviato dall'url originale il 7 settembre 2017).
^ Ufficio Stampa FIP, Tabellino del match su FIP.it, in FIP.it, 9 settembre 2017. URL consultato il 9 settembre 2017 (archiviato dall'url originale il 10 settembre 2017).
^ Ufficio Stampa FIP, Tabellino del match su FIP.it, in FIP.it, 13 settembre 2017. URL consultato il 15 settembre 2017 (archiviato dall'url originale il 14 settembre 2017).