Milec begon op zesjarige leeftijd met voetballen. In 2008 debuteerde hij in het eerste elftal van NK Aluminij. In juli 2010 tekende hij een vierjarig contract bij NK Maribor. In het seizoen 2013/14 werd hij verkozen tot beste jongere van de Sloveense competitie.
Milec tekende in juni 2014 een contract tot medio 2019 bij Standard Luik.[1] Daarvoor speelde hij in zijn eerste seizoen 27 competitiewedstrijden. De club verhuurde hem in januari 2016 voor een jaar aan Roda JC Kerkrade. Daarmee bewerkstelligde hij een veertiende plaats in de Eredivisie, twee plekken boven de degradatiestreep. Standard en Roda verlengden de huurperiode van Milic in juni 2016 tot medio 2017.[2]
Slovenië
.svg){kind=small}
NK Maribor
· 
· 
·
10 Požeg Vancaš ·
11 Zahovič ·
13 Pirić ·
14 Mihelič ·
20 Bajde ·
21 Dervišević ·
22 Milec ·
23 Kolmanič ·
26 Rajčević ·
27 Mešanović ·
28 Viler ·
32 Mitrović ·
33 Handanovič ·
37 Koblar ·
44 Uskoković ·
47 Kotnik ·
55 Peričić ·
96 Felipe Santos ·
98 Mulahusejnović ·
Coach: Milanič