Karlsen nam met het Noors voetbalelftal deel aan de Olympische Zomerspelen 1952 in Helsinki, Finland. De ploeg onder leiding van Engelse bondscoach Frank Soo verloor in de eerste ronde met 4-1 van buurland Zweden, waardoor de Noren al na één duel naar huis konden. In totaal speelde Karlsen 58 officiële interlands voor zijn vaderland in de periode 1946–1956. Hij scoorde vier keer voor de nationale ploeg.