In 1962 ging Sugiyama naar de Meiji University, waar hij in het schoolteam voetbalde. Nadat hij in 1966 afstudeerde, ging Sugiyama spelen voor Mitsubishi Motors. Met deze club werd hij in 1969 en 1973 kampioen van Japan. Sugiyama veroverde er in 1971 en 1973 de Beker van de keizer. In 8 jaar speelde hij er 115 competitiewedstrijden en scoorde 41 goals. Sugiyama beëindigde zijn spelersloopbaan in 1973.
