In de zomer van 2004 maakte Ivić de overstap naar de Duitse eersteklasser Borussia Mönchengladbach. Amper een half seizoen later, waarin de Serviër vier keer uitkwam voor de club, verkocht Mönchengladbach hem al aan AEK Athene. Ivić bleef uiteindelijk voor de rest van zijn spelerscarrière in Griekenland voetballen: na anderhalf seizoen bij AEK Athene trok hij naar Aris Thessaloniki, nadien speelde hij nog vier seizoenen bij PAOK FC.
Een jaar na zijn spelersafscheid kreeg Ivić bij PAOK FC een kans als jeugdtrainer. Na het ontslag van hoofdtrainer Igor Tudor in maart 2016 kreeg Ivić tot het einde van het seizoen de leiding over het eerste elftal. Na afloop van het seizoen kreeg hij definitief zijn kans als hoofdtrainer. Op het einde van het seizoen won hij met PAOK de Griekse voetbalbeker, nadat in de finale zijn ex-club AEK Athene met 2-1 voor de bijl ging.
Op 31 mei 2018 ging Ivić aan de slag als trainer van de Israëlische eersteklasser Maccabi Tel Aviv.[1] In zijn eerste seizoen won hij meteen de landstitel en de Toto Cup, een van de bekercompetities in Israël. Maccabi Tel Aviv eindigde het seizoen met 31 punten voorsprong op eerste achtervolger Maccabi Haifa. Het seizoen daarop verlengde Maccabi Tel Aviv onder Ivić zijn landstitel. Op het einde van het seizoen 2019/20 stapte hij op.
In augustus 2020 werd Ivić aangesteld als trainer van Watford FC, dat net naar de Championship was gedegradeerd.[2]