Brown speelde collegebasketbal voor de California Golden Bears van 2015 tot 2016.[1] In de NBA draft van 2016 werd hij als derde gekozen door de Boston Celtics. Na zijn eerste seizoen werd hij verkozen tot NBA All-Rookie Second Team.[2] Hij werd voltijds starter vanaf zijn tweede seizoen bij de Celtics. In 2021 werd hij voor een eerste keer verkozen tot NBA All-Star.[3] In 2023 werd hij verkozen tot All-NBA Second Team.[4]