Op de Olympische Spelen van Athene in 2004 bleef Fernández zegge en schrijve vijf seconden verwijderd van het goud. De ItaliaanIvano Brugnetti stak hem de loef af door zichzelf te overtreffen en de 20 km snelwandelen af te leggen in 1:19.40. Fernández finishte in 1:19.45.
Zilver won hij ook op de wereldkampioenschappen in 2003, 2005 en 2007. Bij de laatste gelegenheid had zijn medaille nog behoorlijk wat voeten in de aarde. Fernández kwam als derde het stadion binnen, maar haalde vlak voor de finish de vrolijk lachende en al wat uitlopende Hatem Ghoula in. In de ogen van de hoofdscheidsrechter gebeurde dat onreglementair en de reglementen voorzien dan in diskwalificatie. Fernández ging echter naar de beroepscommissie, die hem gelijk gaf, zodat hij alsnog de zilveren medaille kreeg.