Kaastrup begon als jeugdspeler bij de plaatselijke amateurclub Virring SSV en stapte in 2013 over naar de jeugdopleiding van Aarhus GF. Daar debuteerde de Deense jeugdinternational op 17 juli 2017 in het eerste elftal tijdens een met 1-2 verloren thuiswedstrijd tegen AC Horsens, als invaller voor Jakob Ankersen. Kaastrup was op dat moment 16 jaar en 198 dagen oud en werd daarmee de jongste debutant in de clubhistorie.[1] Hij tekende er in maart 2018 zijn eerste profcontract.[2] In het seizoen 2019/20 werd de aanvaller verhuurd aan Borussia Dortmund, waar hij in het tweede elftal speelde. Ook het daaropvolgende seizoen werd hij verhuurd, ditmaal aan Viborg FF.[3] Op 1 februari 2021 werd hij van Aarhus GF overgenomen door Lyngby BK, waar hij een 2,5 jarig contract tekende.[4] In zijn eerste seizoen degradeerde hij met Lyngby uit de Superligaen, een jaar later keerde de club na promotie uit de 1. division weer terug op het hoogste niveau. Eind maart 2023 werd hij voor de rest van het seizoen uitgeleend aan IK Sirius FK, in de hoop op meer speelminuten.[5] Drie maanden later keerde de aanvaller vanuit Zweden voortijdig alweer terug naar Lyngby, waar hij tot de zomer van 2024 nog onder contract stond.[6] Eind augustus 2023 werd Kaastrup opnieuw uitgeleend, ditmaal aan VVV-Venlo. De eerstedivisionist bedong daarbij tevens tot een optie tot koop.[7] Eind maart 2024 maakte de club bekend die optie niet te zullen lichten.[8]