Elsener maakte zijn debuut in het profvoetbal bij FC Winterthur, hier speelde hij een seizoen waarna hij de overstap maakte naar Grasshopper. Met Grasshopper werd hij landskampioen in 1956 en won datzelfde jaar ook de beker.
Elsener maakte zijn debuut voor Zwitserland in 1958, hij speelde 34 interland in totaal en nam met zijn land deel aan het WK 1962 in Chili en aan het WK 1966 in Engeland.