Ivanov speelde gedurende zijn loopbaan voor enkele Russische topclubs zoals CSKA Moskou, Spartak Moskou en Dinamo Moskou. In 1989 werd Ivanov landskampioen van de Sovjet-Unie met Spartak Moskou. In 1992 en 1993 won hij de Russische Premjer-Liga met dezelfde club. Tegen het einde van zijn loopbaan vertrok hij naar Oostenrijk. Van 1996 tot 1997 speelde hij daar voor FC Tirol Innsbrück. Tijdens het seizoen 1997/98 was hij actief in Duitsland bij SpVgg Greuther Fürth.