Mazur ging naar de Bronx High School of Science en later naar MIT. Hij behaalde zijn PhD in 1959 aan Princeton. Hij was een Junior Fellow aan Harvard University van 1961 tot 1964, waar hij nu nog steeds hoogleraar is.
Zijn vroege werk was in de geometrische topologie. Op een elementaire manier bewees hij de veralgemeende stelling van Schoenflies, rond dezelfde periode als Morton Brown. Zowel Brown als Mazur ontvingen de Veblen-prijs voor deze prestatie. Hij ontdekte ook de Mazurvariëteit in de differentiaaltopologie en de Eilenberg-Mazurzwendel in de geometrische topologie.
Zijn observaties in de de jaren '60 over analogieën tussen priemgetallen en knopen werden gebruikt door anderen. Dit leidde in de jaren '90 tot het gebied van de aritmetische topologie.
Onder de invloed van Alexander Grothendieck's benadering van de algebraïsch meetkunde maakte hij de overgang van de geometrische topologie naar de getaltheorie en de algebraïsche meetkunde. Zo deed hij onderzoek in de diophantische meetkunde.
Hij schreef twee boeken voor een breder publiek: Imagining Numbers en Circles Disturbed, a collection of essays on mathematics and narrative.
