Visser maakte zijn debuut bij Sparta Rotterdam op 28 augustus 1955 en in een wedstrijd tegen Roda Sport. De wedstrijd werd gewonnen met 2-1.
Visser won in zijn carrière onder meer het afdelingskampioenschap in 1956, het landskampioenschap in 1959 en tweemaal de beker. Na zijn actieve loopbaan ging Visser aan de slag als trainer.