Silva, bijgenaamd Lito, kwam in eigen land uit voor Danubio en Peñarol. Met die laatste club won hij viermaal de Uruguayaanse landstitel. Hij speelde 29 interlands (zeven doelpunten) voor zijn vaderland Uruguay en nam met de nationale ploeg onder meer deel aan twee WK-eindronden: 1962 (Chili) en 1966 (Engeland).