Als voetballer speelde Wise als centrale middenvelder en viel op door zijn dribbelvaardigheid en zijn vrije schoppen, maar ook door zijn agressieve en strijdvaardige voetbalstijl. In zijn twintigjarige voetbalcarrière speelde Wise voor Wimbledon, Leicester City, Millwall, Southampton, Coventry City en voornamelijk bij Chelsea.
Wise won de FA Cup met Wimbledon FC en gedurende zijn periode bij Chelsea won Wise diverse prijzen en werd hij de succesvolste aanvoerder van de club tot dan toe.[1]
Wise speelde tien jaar in het Engels voetbalelftal, waarbij hij 21 wedstrijden heeft gespeeld en 1 keer scoorde. Dit doelpunt maakte hij tijdens zijn debuutwedstrijd op 1 mei 1991 tegen Turkije.[2] Het enige grote eindtoernooi dat hij speelde was Euro 2000, waarbij alle drie de groepsduels gespeeld heeft.[3]
In de laatste paar seizoenen als voetballer begon Wise zich ook te bemoeien met het management. Zo combineerde hij diverse functies samen met het voetballen en begon daarmee bij Millwall. Bij Southampton nam hij de taken kort over van de vertrokken Harry Redknapp. Na Southampton had Wise nog kort functies bij Swindon Town, Leeds United en uiteindelijk bij Newcastle United, waar hij tegenwoordig scout voor is.