De in Hapton, Engeland, geboren Miller speelde al zijn wedstrijden voor Burnley FC. Hij speelde 379 wedstrijden en scoorde daarin 29 keer. In 1960 had Miller ook een belangrijk aandeel in het winnen van het landskampioenschap. Miller kwam eenmaal in actie in het Engels voetbalelftal. Hij speelde in 1961 mee tegen Oostenrijk (3-1 voor Engeland).
Brian Miller coachte ook nog Burnley FC, ook wel bekend als The Clarets. Hij deed dat vanaf 1973. Na 1982 was hij manager van de club en in 1992 werd hij hoofd van de scoutafdeling.
Brian Miller stierf een natuurlijke dood in het ziekenhuis van Burnley.
Tijdens de wedstrijd tussen Burnley en Cardiff City FC, werd er ter nagedachtenis van Miller en zijn nabestaanden 1 minuut stilte gehouden. Brian Miller werd 70 jaar.
