Johansson, bijgenaamd Bosse, speelde lang voor Kalmar FF. Daar begon hij in 1973 ook zijn carrière als trainer. Na nog twee jaar als speler-trainer op lager niveau bij Lindsdals IF gewerkt te hebben, keerde hij als hoofdcoach nog tweemaal terug bij Kalmar. Johansson trainde ook in twee periodes, met een korte onderbreking in Noorwegen, Östers IF waarmee hij in zowel 1980 als 1981 de Allsvenskan won. In het seizoen 1988/89 had hij het Griekse Panionios onder zijn hoede.
Hierna werd hij bondscoach van IJsland. Met het Deense Silkeborg IF won hij in 1994 de Superligaen. Van 1996 tot 2000 was Johansson bondscoach van Denemarken en begeleidde hij de ploeg naar het wereldkampioenschap 1998 (kwartfinale) en EURO 2000. Na het voor Denemarken slecht verlopen EK, met drie nederlagen in de poule, nam hij ontslag. Vervolgens trainde hij nog IFK Göteborg en Molde FK waarmee hij in 2005 de Noorse beker won. Hierna ging hij met pensioen, al keerde hij in 2010 nog kort terug als assistent bij Åtvidabergs FF.