In de wintertransferperiode van het seizoen 2023/24 verhuurde Kopenhagen Dithmer aan Jong FC Utrecht, die een extra keeper nodig hadden na het verhuren van Calvin Raatsie en een blessure van Kevin Gadellaa.[2] Hij kwam in de resterende helft van het seizoen tot 12 wedstrijden, waarna voor het volgende seizoen de koopoptie werd gelicht en Dithmer definitief aansloot bij Utrecht.[1] Hij deelde de positie van eerste keeper voor het belofteteam met Tom de Graaff en Kevin Gadellaa.