Swers begon met voetballen bij Herk Sport Hasselt en stapte later over naar Sint-Truidense VV. Op 28 april 2013 maakte hij op zestienjarige leeftijd zijn officiële debuut in de eerste ploeg van STVV door in te vallen in een competitiewedstrijd tegen SK Sint-Niklaas. In het seizoen 2013/14 kwam hij niet in actie in de competitie, maar mocht hij wel invallen in vier van de zes eindrondewedstrijden. In de eerste wedstrijd van het seizoen 2014/15 tegen Excelsior Virton mocht hij aan de wedstrijd starten, maar het werd niet de voorbode van een succesrijk seizoen: in alle competities mocht hij slechts 456 minuten meespelen. Op het einde van het seizoen werd hij wel kampioen in Tweede klasse met de club.
In het seizoen 2015/16 kreeg Swers pas in Play-off 2 zijn kans bij STVV, hij speelde hierin vijf wedstrijden. In het seizoen 2016/17 kreeg hij dan weer vooral in het begin van het seizoen speelminuten van trainer Ivan Leko. In juli 2017 werd hij dan ook voor één seizoen uitgeleend aan Lommel SK, nadat hij eerst een contractverlenging van twee seizoenen kreeg op Stayen. Bij Lommel schoolde trainer Wouter Vrancken hem om van rechtsbuiten naar rechtsachter.[1]
Na zijn terugkeer bij STVV kreeg Swers er geen speelkansen meer, waarop de club hem in januari 2019 voor de rest van het seizoen uitleende aan RFC Seraing. Na het seizoen lijfde Seraing hem definitief in. Seraing promoveerde vervolgens twee seizoenen op rij met Swers als basisspeler.
In mei 2021 ondertekende Swers, die einde contract was bij Seraing, een contract voor vier seizoenen bij KV Mechelen.[2] Daar kwam hij zijn oude trainer Wouter Vrancken tegen.