Gaye kwam tot juli 2009 uit voor FCN Sint-Niklaas. In het seizoen 2009-2010 verkaste hij naar Oud-Heverlee Leuven waar hij zijn oud-trainer van bij Sint-Niklaas, Jean-Pierre Vande Velde, terugvond. Door de sterke concurrentie op het Leuvense middenveld kwam Gaye echter weinig aan spelen toe. Hij vertrok na een half seizoen naar derdeklasserKSV Oudenaarde. Daarna speelde hij nog voor MSK Deinze, waar hem op het einde van het seizoen 2014-2015 geen contractverlenging werd aangeboden. Sinds het seizoen 2015-2016 speelt hij voor Eendracht Aalst.