Olsen werd opgeleid in de jeugdopleidingen van Rosenhøj en Hvidovre IF. Hij brak in 2003 echter door bij Akademisk BK. Gedurende drie jaar was hij actief voor die club, maar hij kwam niet erg vaak in actie. In 2006 maakte hij de overstap naar FC Nordsjælland, waar hij wel een basisplaats kreeg. In dertig wedstrijden kwam de middenvelder tot tien doelpunten en hij verdiende een transfer naar FC Midtjylland. Aldaar speelde hij zes jaar een hij kwam tot 33 doelpunten in 177 duels voor de Ulvene. In januari 2014 stapte Olsen over naar Aarhus GF.[1] Hier baarde hij opzien door in zijn eerste vier duels vier keer doel te treffen. Ondanks zijn inzet kon hij de club niet behoeden voor degradatie. Na één seizoen promoveerde de club hierna weer en Olsen bleef een vaste waarde in het team. In de zomer van 2017 verliep zijn verbintenis en hierop tekende hij voor twee seizoenen bij Hobro IK.[2] Olsen besloot medio 2019 een punt te zetten achter zijn actieve loopbaan.[3]