Kaya begon zijn jeugdopleiding bij TSV Klein-Linden.[1] Een paar jaar later stapte hij over naar VfB Gießen, waarmee hij deelnam aan toernooien waar ook clubs uit de Bundesliga deelnamen met hun jeugd.[1] Zo wekte hij de interesse op van Mainz 05, waar hij werd omgeschoold van middenvelder tot aanvaller.[1] Uiteindelijk werd hij er doorgestuurd en belandde hij in 2016 bij FC Ingolstadt 04.[1]
Op 28 maart 2018 maakte hij zijn officiële debuut voor het tweede elftal van Ingolstadt, dat toen in de Regionalliga Bayern uitkwam: in de competitiewedstrijd tegen SV Seligenporten (1-1) viel hij in de 57e minuut in. In het seizoen daarop maakte hij zijn opwachting in het eerste elftal van de club, dat toen in de 2. Bundesliga speelde. Kaya degradeerde in 2019 naar de 3. Liga met Ingolstadt, maar kon twee jaar later de terugkeer naar de 2. Bundesliga forceren. De terugkeer was echter van korte duur, want in 2022 tuimelde Kaya een tweede keer naar de 3. Liga met Ingolstadt.