Olsen begon zijn carrière als betaald voetballer bij Hvidovre IF, met Hvidovre werd Olsen in zijn debuutseizoen (1965/1966) kampioen van Denemarken in de Superligaen. In 1969 kwam Olsen naar Nederland. Hij tekende een contract bij DOS, de voorganger van FC Utrecht. In 1970 fuseerden DOS, Elinkwijk en Velox (beide ook Utrechtse clubs) tot FC Utrecht, waarna DOS en de genoemde clubs teruggingen naar de amateurs.
In de seizoenen 1974/75 en 1975/76 kwam Olsen uit voor Feyenoord. Met Feyenoord werd Olsen twee keer tweede in de Eredivisie. Olsen kwam in zijn laatste seizoen bij Feyenoord (1975/76) ook nog uit voor FC Utrecht. Hij speelde voor de Utrechtenaren vijftien duels, waarin hij 5 keer wist te scoren.[1]