Diallo begon zijn carrière bij de jeugd van CSF Bretigny. In 2004 maakte hij zijn debuut in het profvoetbal bij FC Rouen. Een jaar later, in 2005, vertrok Diallo naar EA Guingamp. In augustus 2006 tekende hij een contract bij Charleroi SC in België. Hij werd door Charleroi aangetrokken om Velimir Varga te vervangen, die terugkeerde naar zijn thuisland Slovenië. Na vier jaar vertrok hij naar KV Oostende. In 2012 tekende hij bij Angers SCO in de Ligue 2, waarmee hij in 2015 promoveerde naar de Ligue 1.