Dioussé werd geboren in de Senegalese hoofdstad Dakar. Hij kwam terecht in de jeugdacademie van Empoli. Op 15 augustus 2015 maakte de linksbenige Senegalees zijn opwachting in de Coppa Italia tegen Vicenza Calcio. Hij speelde de volledige wedstrijd, die Empoli verloor met het kleinste verschil.[3] Acht dagen later debuteerde de defensief ingestelde middenvelder in de Serie A tegen Chievo Verona.[4]