Baldé werd in Senegal geboren en zijn ouders kwamen uit Guinee. Hij speelde in de jeugdopleiding van Diambars FC uit Saly. Op 2 januari 2021 debuteerde hij in het eerste team in de thuiswedstrijd tegen ASC Niarry Tally. Hij scoorde driemaal in twee wedstrijden in de Ligue 1 waarmee hij toen de topscorerslijst aanvoerde.[1] Op 19 januari 2021 werd Baldé door Feyenoord gecontracteerd en tekende hij tot medio 2025.[2][3] Op 20 maart 2021 debuteerde Baldé voor Feyenoord in de Eredivisie in de thuiswedstrijd tegen FC Emmen (1-1) als invaller na 81 minuten voor Luis Sinisterra.[4] Eind oktober 2021 werd Baldé teruggezet naar het beloftenteam.[5] In januari 2022 werd hij tot het einde van het seizoen verhuurd aan KVRS Waasland - SK Beveren in de Eerste klasse B.[6] In de eerste seizoenshelft van het seizoen 2022/23 speelde hij op huurbasis voor FC Dordrecht.[7] In de wintertransferperiode van hetzelfde seizoen maakte hij de permanente overstap naar FC Lausanne-Sport.[8] Daar scoorde hij 7 doelpunten in 19 competitiewedstrijden en werd in de zomer van 2023 verkocht aan OGC Nice uit Frankrijk. In het seizoen 2024/25 speelt hij op huurbasis voor VfL Bochum in de Bundesliga.