Höher speelde vanaf 1963 voor Meidericher SV. Hij had echter geen vaste basisplaats. In seizoen 1963/64 werd zijn ploeg tweede in de Bundesliga. In 1965 werd Höher ingelijfd door het Nederlandse FC Twente. In een jaar tijd maakte hij drie doelpunten in 23 officiële wedstrijden. In 1966 ging hij terug naar West-Duitsland, naar VfL Bochum dat uitkwam in de Regionalliga West. Met Bochum verloor hij in 1968 de finale van de DFB-Pokal tegen 1. FC Köln. In 1970 beëindigde hij zijn actieve voetballoopbaan.
Vervolgens was Höher trainer. In 1972 werd hij hoofdcoach van Bochum. Hij behield deze functie zeven achtereenvolgende seizoenen, wat een record is in de historie van de vereniging. Bochum eindigde in deze periode meestal rond de 14e plaats in de Bundesliga, met als uitschieter een achtste plek in 1979. Höher vertrok vervolgens naar MSV Duisburg, waar hij echter in februari 1980 werd ontslagen. Vervolgens was hij vanaf december 1980 een half seizoen werkzaam voor Fortuna Düsseldorf, waar hij Otto Rehhagel opvolgde. In Griekenland was hij achtereenvolgens werkzaam voor PAOK Saloniki en Olympiakos Piraeus. Met deze laatste club schakelde hij in september 1983 Ajax uit in de Europacup I. Twee maanden later leverde hij zijn contract in, omdat hij niet het gevoel had voldoende vertrouwen binnen de club te hebben.
Höher ging terug naar Duitsland en trad per 1 januari 1984 in dienst van 1. FC Nürnberg. In zijn eerste seizoen degradeerde hij met Nürnberg naar de 2. Bundesliga, waarin hij het jaar daarop kampioen werd door op de laatste speeldag na een directe confrontatie KSV Hessen Kassel op de ranglijst te passeren. In 1988 werd hij met Nürnberg vijfde in de Bundesliga, waarmee het zich plaatste voor de UEFA Cup. Höher verruilde na dit seizoen het trainerschap voor de functie van manager. In 1996 wilde hij terugkeren in het trainersambt bij de ploeg VfB Lübeck. Nadat hij echter op zijn eerste werkdag op het trainingsveld flauwviel, besloot hij per direct te stoppen. Hij was later nog wel actief als jeugdtrainer bij SpVgg Greuther Fürth.