Faye speelde in de jeugd van Spartaan '20, Sparta Rotterdam en PSV voordat hij in 2015 werd opgenomen in de opleiding van de Vitesse Voetbal Academie. Op 14 augustus 2016 debuteerde Faye in het tweede elftal van Vitesse, in de uitwedstrijd tegen FC Lienden (2–1). Op 14 december 2016 maakt hij op 18-jarige leeftijd zijn debuut voor Vitesse in de bekerwedstrijd tegen Jodan Boys (4–0). Met Jong Vitesse eindigde hij in 2017 op de zeventiende plaats en degradeerde daardoor naar de Derde divisie. Als bekerwinnaar, van het seizoen 2016/17, mocht Vitesse spelen om de Johan Cruijff Schaal tegen landskampioen Feyenoord op 5 augustus 2017. In de wedstrijd verving Faye in de 87e minuut Alexander Büttner. Het duel eindigde na reguliere speeltijd in 1–1. Vitesse verloor daarna na strafschoppen (4–2), waarbij Vitesse-spelers Tim Matavž en Milot Rashica hun penalty's misten. Tijdens de voorbereiding van het seizoen 2018-2019 werd Faye, door de nieuwe trainer Leonid Slutskiy, overbodig verklaard bij Vitesse; met Alexander Büttner en Max Clark was de linksbackpositie al dubbel bezet.[1]
Na een halfjaar alleen wedstrijden bij het tweede elftal te hebben gespeeld vertrok Faye naar Sparta Rotterdam waar hij eerder al in de jeugd heeft gespeeld. Hij tekende voor anderhalfjaar in Rotterdam-West.[2] Tijdens zijn eerste halve seizoen voor Sparta speelde Faye in totaal 16 wedstrijden en promoveerde hij via de Play-offs met Sparta naar de Eredivisie.[3]