Ólafsson werd geboren in Kópavogur en begon met voetballen bij het plaatselijke Breiðablik. Voor deze club maakte hij ook zijn debuut in het betaald voetbal. In 2019 verliet hij IJsland, om aan de slag te gaan bij het NoorseAalesunds FK.[2] Hier speelde hij twee seizoenen.
Op 12 januari 2022 werd bekend dat Ólafsson zijn carrière vervolgt bij Kalmar FF. Het tekende een contract tot 2024 bij de club uit de ZweedseAllsvenskan.[3] Na twee seizoenen sloot Ólafsson het Zweedse hoofdstuk af om aan de slag te gaan bij Cracovia Kraków.[4]