Hierro speelde in zijn jeugd bij Real Valladolid en werd daar in het seizoen 1987/88 prof. In het seizoen 1989/90 vertrok hij naar Real Madrid, waar hij zou blijven tot 2002/03. In deze periode maakte hij vele successen mee bij De Koninklijke: vijfmaal de Spaanse landstitel (1990, 1995, 1997, 2001, 2003), eenmaal de Copa del Rey (1993), vijfmaal de Supercopa (1990, 1993, 1997, 2001, 2003), driemaal de UEFA Champions League (1998, 2000, 2002), een keer de UEFA Super Cup (2002) en tweemaal de wereldbeker (1998, 2002). Na een kort verblijf in Qatar, waar Hierro actief was voor Al-Rayyan, speelde de verdediger vanaf 2004 in de Premier League bij Bolton Wanderers. Op 15 mei 2005 speelde Hierro bij deze club zijn laatste officiële wedstrijd.
Hierro speelde 89 wedstrijden voor het Spaans nationaal elftal en scoorde daarin 29 maal (een gemiddelde van 1 goal per 3 wedstrijden). Ondanks dat hij een verdediger was, staat hij daarmee achter David Villa, Raúl, David Silva en Fernando Torres vijfde op de topscorerslijst van het Spaans nationaal elftal. Hierro nam deel aan de WK's van 1994, 1998 en 2002.
Hierro was van 2017 tot medio 2018 werkzaam als technisch directeur bij de Spaanse voetbalbond (RFEF). Twee dagen voor de start van het WK voetbal 2018 kreeg hij de leiding over de nationale ploeg, nadat de bond zich had ontdaan van Julen Lopetegui. Lopetegui had namelijk een contract afgesloten om hoofdtrainer te worden van Real Madrid. Onder leiding van Hierro bereikte Spanje weliswaar de tweede ronde, maar daarin werd zijn ploeg uitgeschakeld door gastland Rusland. Op 8 juli 2018 maakte de Spaanse bond vervolgens bekend dat Hierro zou vertrekken.[1] Hij werd in zijn rol als technisch directeur opgevolgd door oud-doelman José Francisco Molina, die gelijktijdig met de nieuwe bondscoach Luis Enrique werd gepresenteerd op 9 juli 2018.[2]