Poom begon zijn carrière in 1992 bij FC Flora Tallinn. In 1993 vertrok hij naar het Zwitserse FC Wil. Poom speelde slechts één wedstrijd voor FC Wil. In 1994 vertrok hij naar het EngelsePortsmouth FC. In 1995 werd hij verhuurd aan zijn eerste club, Flora Tallinn. Daar speelde hij tot 1997. Hierna vertrok hij naar het Engelse Derby County FC. In 2002 werd hij opnieuw verhuurd, ditmaal aan Sunderland AFC. Daar speelde hij nooit een wedstrijd. Hij speelde tussen 2003 en 2005 53 wedstrijden voor Sunderland AFC, waarin hij eenmaal scoorde. In 2005 werd hij door Sunderland verhuurd aan Arsenal, waar hij in januari 2006 in vast dienstverband trad. Poom sloot zijn carrière af bij Watford, waar hij tussen 2007 en 2009 nog 19 competitieduels onder de lat stond.
Poom speelde ook voor het Estse elftal. Hij speelde 120 wedstrijden voor zijn land. In 2003 kreeg hij van de Estse voetbalbond de onderscheiding van beste Estse voetballer van de afgelopen 50 jaar. Poom maakte zijn debuut op 3 juni1992 in de vriendschappelijke wedstrijd tegen Slovenië (1-1), net als middenvelders Marko Kristal en Martin Reim.
