Kirschbaum speelde in de jeugd bij TSV Obernzenn, FC Nürnberg en TSG 1899 Hoffenheim. Hij debuteerde in dienst van laatstgenoemde club in het betaald voetbal op 5 augustus 2006 in een thuiswedstrijd tegen TSV 1860 München II (2-2). Met Hoffenheim promoveerde hij in 2007 eerst naar de 2. Bundesliga en een jaar later naar de Bundesliga, maar kreeg daarin geen speeltijd.
Kirschbaum vertrok in januari 2009 naar FC Vaduz, dan actief in de Raiffeisen Super League. Hiermee eindigde hij het seizoen als laatste, wat degradatie naar de Challenge League betekende. Daarna speelde hij één seizoen voor SV Sandhausen in de 3. Liga en drie seizoenen voor Energie Cottbus, alle drie in de 2. Bundesliga. Kirschbaum tekende in juli 2013 als transfervrije speler een driejarig contract bij VfB Stuttgart, waar hij tweede doelman werd achter Sven Ulreich. Hier kwam hij in zijn eerste seizoen drie en in het tweede zes wedstrijden aan spelen toe. Hij eindigde met de club eerst één en het jaar erna twee plaatsen boven de degradatiestreep.
Kirschbaum verruilde Stuttgart in juli 2015 voor 1. FC Nürnberg, de nummer negen van de 2. Bundesliga in het voorgaande seizoen. Over zowel de hoogte van de transfersom als de looptijd van zijn contract werden geen mededelingen gedaan.[1] In het seizoen 2018/19 stapte hij over naar Bayer 04 Leverkusen,[2] waar hij derde doelman werd achter Lukáš Hrádecký en Ramazan Özcan.
Op 27 mei 2019 werd hij door VVV-Venlo voor de duur van twee jaar vastgelegd en gepresenteerd als opvolger van Lars Unnerstall.[3] Kirschbaum kende in Venlo aanvankelijk een moeizame start en kreeg veel kritiek te verduren.[4] In de loop van het seizoen 2019/20 verstomde die kritiek en na drie clean sheets in februari 2020 werd hij als eerste doelman ooit door de Eredivisie CV uitgeroepen tot Speler van de Maand.[5] Na de degradatie uit de Eredivisie in 2021 besloot Kirschbaum zijn aflopende contract bij VVV niet te verlengen en uit te kijken naar een nieuwe club.[6] Kirschbaum keerde vervolgens terug naar zijn vaderland, waar hij een tweejarig contract tekende bij Jahn Regensburg uit de 2. Bundesliga.[7]
Duitsland
FC Vaduz
VVV-Venlo