Florian Mayer speelde in de jeugd van FC Schalke 04, VfL Bochum en Borussia Mönchengladbach, waar hij van 2017 tot 2021 bij het tweede elftal in de Regionalliga West speelde. In de tweede helft van het seizoen 2017/18 zat hij een paar keer bij de eerste selectie van Borussia. Hij debuteerde in de Bundesliga op 1 april 2018, in de met 0-0 gelijkgespeelde uitwedstrijd tegen 1. FSV Mainz. Hij kwam in de 72e minuut in het veld voor de geblesseerd geraakte Nico Elvedi. In februari 2019 en in februari 2020 scheurde Mayer zijn kruisband, waardoor hij lange tijd afwezig was en hij nog nauwelijks meer speelde.
In 2021 vertrok hij bij Mönchengladbach en tekende hij na een proefperiode een contract voor een jaar bij Roda JC Kerkrade. Twee dagen na zijn komst raakte hij weer geblesseerd aan zijn kruisband, waardoor hij het hele seizoen 2021/22 miste. Hij debuteerde voor Roda op 5 augustus 2022, in de met 0-2 gewonnen uitwedstrijd tegen FC Dordrecht. Hij kwam in de 90+1e minuut in het veld voor Bryan Limbombe. Hij speelde in het seizoen 2022/23 elf wedstrijden voor Roda, waarvan vier keer als basisspeler. In 2023 vertrok hij transfervrij naar 1. FC Bocholt.