Whittaker debuteerde op 12 mei 2002 in het shirt van Hibernian in de Scottish Premier League tegen St. Johnstone. In vijf seizoenen speelde hij 141 competitieduels voor Hibernian. Op 1 augustus 2007 tekende hij een vijfjarig contract bij Glasgow Rangers, dat drie miljoen euro betaalde voor de rechtsachter. Hij scoorde een doelpunt bij zijn debuut op 18 augustus tegen Falkirk. In vijf seizoenen scoorde hij 19 doelpunten uit 150 competitiewedstrijden voor Glasgow Rangers. In 2012 werd de club failliet verklaard. Daarop verliet Whittaker de club transfervrij. Hij tekende op 30 juni 2012 een vijfjarig contract bij het Engelse Norwich City. Op 31 oktober debuteerde hij voor Norwich City in de League Cup tegen Tottenham Hotspur. Enkele dagen later vierde hij zijn Premier League-debuut tegen Stoke City. Op 8 december 2012 scoorde hij zijn eerste doelpunt in de Premier League tegen Swansea City op aangeven van zijn landgenoot Robert Snodgrass.