Gyldenstein is geboren in Kopenhagen waar hij is begonnen te voetballen bij Kjøbenhavns. Gyldenstein maakte zijn debuut in Denemarken voetbaleftal in 1911. Hij heeft 3 wedstrijden gespeeld en 3 doelpunten gescoord voor zijn nationale ploeg. Gyldenstein had hattrick gescoord tegen Zweden voetbaleftal op 5 oktober 1913. [3] Gyldenstein beeindigt zijn voetbalcarrière in 1918.