"Let It Be Me" is afgeleid van "Je t'appartiens", dat in 1955 oorspronkelijk door Gilbert Bécaud werd opgenomen. De muziek van dit nummer is geschreven door Bécaud, met een tekst door Pierre Delanoë. Het werd in 1956 een hit voor Bécaud en is gecoverd door onder meer Les Compagnons de la chanson. In 1957 werd er door Manny Curtis voor het eerst een Engelstalige tekst op de melodie van dit nummer geschreven met de titel "Let It Be Me". Dat jaar werd het voor het eerst gezongen door Jill Corey in het televisieprogramma Climax! Deze versie werd uitgebracht als single en werd een kleine hit.
In 1959 werd "Let It Be Me" opgenomen door The Everly Brothers. Het was het eerste nummer van het duo dat niet in Nashville werd opgenomen; in plaats daarvan vond de opname plaats in New York. Op de opname zijn, naast het duo, ook gitaristen Howard Collins, Barry Galbraith en Mundell Lowe, basgitarist Lloyd Trotman, drummer Jerry Allison en pianist Hank Rowland te horen. De versie van The Everly Brothers werd een wereldwijde hit. Het bereikte de zevende plaats in de Amerikaanse Billboard Hot 100 en de dertiende plaats in de Britse UK Singles Chart. Ook in onder meer Australië en Canada werden de hitlijsten bereikt. In Nederland piekte de single op de negende plaats in een voorloper van de Single Top 100.
"Let It Be Me" is door een groot aantal artiesten opgenomen. Een aantal van deze versies hebben ook de hitlijsten gehaald. In 1964 kwamen Betty Everett en Jerry Butler tot de vijfde plaats in de Billboard Hot 100. In 1967 behaalden The Sweet Inspirations plaats 94 in dezelfde lijst. Glen Campbell en Bobbie Gentry behaalden in 1969 plaats 36 in de Hot 100 en plaats 14 in de Amerikaanse countrylijsten. In 1982 piekte de versie van Willie Nelson op de tweede plaats in de countrylijsten en op de veertigste plaats in de Hot 100. Ook in Nederland bereikten een aantal covers de hitlijsten. In 1960 werd de versie van The Blue Diamonds samen met die van The Everly Brothers genoteerd, waardoor deze ook tot de negende plaats kwam. In 1968 behaalden The Hep Stars de derde plaats in de Tipparade met hun versie. In 1973 kwam de versie van The Buffoons tot de elfde plaats in de Nederlandse Top 40 en de tiende plaats in de Daverende Dertig. Tot slot kwam de opname van Gordon eind 1994 en begin 1995 tot plaats 36 in de Top 40 en plaats 35 in de Mega Top 50.
