Op twaalfjarige leeftijd verruilde Agger amateurclub Rosenhøj BK voor de jeugdopleiding van Brøndby IF. Daar werd hij in juli 2004 voor het eerst bij de hoofdmacht gehaald, nadat verdediger Andreas Jakobsson Brøndby de rug toe keerde. In het eerste team van Brøndby groeide hij in het seizoen 2004/05 uit tot een van de basisspelers die de club dat jaar naar de Deense landstitel brachten. Liverpool zag het gebeuren en nam Agger in januari 2006 voor 5,8 miljoen pond over van Brøndby IF. Op 1 februari 2006 maakte hij zijn debuut voor de Engelse club, in de in 1-1 geëindigde thuiswedstrijd tegen Birmingham City FC. Agger zou uiteindelijk acht jaar bij de Engelse club blijven. In 2014 maakte hij bekend terug te keren naar Brøndby. In juni 2016 zette hij een punt achter zijn voetbalcarrière.
Voor zijn vaderland was Agger onder meer actief op het WK 2010 onder bondscoach Morten Olsen. Hij speelde alle drie de groepswedstrijden van Denemarken van begin tot eind. In het eerste duel tegen Nederland (2-0 verlies) maakte Agger officieel het eerste eigen doelpunt van het toernooi. Een kopbal van ploeggenoot Simon Poulsen caramboleerde via zijn rug in het Deense doel.
Agger nam met Denemarken ook deel aan het EK voetbal 2012 in Polen en Oekraïne, waar de selectie van bondscoach Olsen in de groepsfase werd uitgeschakeld. Op de verrassende 1-0-overwinning op Nederland volgden nederlagen tegen Portugal (2-3) en Duitsland (1-2), waardoor de Denen als derde eindigden in groep B.