Brown speelde voor Alumni Athletic en behaalde meerdere titels met deze club. Hij speelde ook twaalf keer voor het nationale elftal en kon één keer scoren.
Ernesto had nog vier broers (Alfredo, Carlos, Jorge en Eliseo) en een neef (Juan Domingo), die allen ook bij Alumni en het nationale elftal speelden. Verder had hij ook nog twee voetballende broers, Diego en Tomás, die echter geen international werden.
