Yakubu werd door Ajax gescout toen hij speelde bij Great Mariners (Ghapoha). In het seizoen 1999/2000 maakte Yakubu zijn debuut voor de Amsterdammers. Yakubu speelde in de jaren die volgden met regelmaat voor het eerste van Ajax, maar tot een echte doorbraak kwam het niet. In het seizoen 2002/03 beleefde hij zijn hoogtepunt, toen Ajax met coach Ronald Koeman de kwartfinales van de UEFA Champions League bereikte. In die wedstrijden tegen latere winnaar AC Milan onderscheidde de Afrikaan zich als bikkelharde en uitblinkende middenvelder.
Na vijf seizoenen bij Ajax (65 wedstrijden) vertrok Yakubu in 2004 op huurbasis naar Vitesse, waar hij in zijn eerste seizoen 31 wedstrijden in de verdediging speelde. Ook was hij gelijk Vitesse-speler van het Jaar en de club contracteerde hem. In 2009 liep zijn contract af. Yakubu liep nog tevergeefs stage bij TSV 1860 München waarna hij zijn loopbaan beëindigde.