Yılmaz speelde tussen 1984 en 1986 bij Willem II waarna hij overstapte naar PSV. In het seizoen 1987/88 kwam hij driemaal in actie namens PSV. In het seizoen 1989/90 speelde hij zes weken in Turkije voor Sarıyer GK waarna hij vijf seizoenen voor RBC speelde. Na drie seizoenen in België bij Dessel Sport en Schoten SK (1997/1998) ging hij weer terug naar Nederland en kwam uit op amateurbasis bij respectievelijk VOAB, WSC en TAC/BWB.
Later werd Yılmaz trainer in het amateurvoetbal bij LEW (2002-2003), WSJ (2003-2004), SV Triborgh (2004-2008), RKC C-jeugd (2008-2009), VOAB (2009-2012), Willem II-A-jeugd (2012-2014) en GSBW (2013-2015). Hij was van 2015 tot 2017 hoofdtrainer van Beerse Boys. Vanaf 2018 traint hij SvSSS.