Josip Šimić begon zijn carrière bij ONS Hitrec - Kacijan, de jeugdschool van Dinamo Zagreb. Nadien speelde hij even voor NK Slaven Belupo alvorens zijn debuut te maken in het eerste elftal van Dinamo Zagreb. In die periode werd hij ook voor de eerste geselecteerd voor de nationale ploeg van Kroatië.
In september 2000 trok de aanvaller naar het Club Brugge van trainer Trond Sollied. Op 10 september2000 maakte hij zijn debuut bij Brugge tegen AA La Louviere wat eindigde in 3-0 winst voor Brugge. Veel kwam hij in eerste instantie niet aan spelen toe. De trainer gaf de voorkeur aan Andrés Mendoza en Sandy Martens. Een jaar later kwam daar nog eens de concurrentie van Rune Lange bij, maar de Kroaat kreeg toen wel meer speelkansen. Op het einde van het seizoen werd hij voor een jaar uitgeleend aan het GriekseAris Saloniki. Nadien keerde hij terug naar Brugge, waar hij vanaf dan nog amper van de bank kwam.