Nielsen won tijdens de Olympische Zomerspelen 1928 de gouden medaille in de wegwedstrijd voor ploegen, individueel eindigde hij als zevende. Vier jaar later won hij met zijn ploeggenoten de zilveren medaille en eindigde individueel als negende. In 1931 won Nielsen de bronzen medaille tijdens de wereldkampioenschappen in eigen land.