De club werd opgericht in 1916. In 1931 promoveerde de club naar de hoogste klasse van de Rijncompetitie, een van de hoogste reeksen van de Zuid-Duitse voetbalbond. De reeks, die gedomineerd werd door teams uit Mannheim, bleek een maatje te groot voor de club die slechts zes punten behaalde, één puntje meer dan laatste plaats FG 10 Kirchheim. Tijdens de Tweede Wereldoorlog hadden sommige teams het moeilijk om een volwaardig team op te stellen waardoor zij een tijdelijke fusie aangingen met andere clubs. Ook Sandhausen deed dit en trad aan als KSG Walldorf-Wiesloch en mocht in 1943/44 aantreden in de Gauliga Baden, maar verloor alle wedstrijden.
Na de oorlog speelde de club een aantal jaren in de vierde klasse en promoveerde in 1957 naar de 1. Amateurliga Nordbaden, waar ze speelden tot 1978 toen de Oberliga Baden-Württemberg ingevoerd werd als derde klasse. In 1978 werd de club Duits amateurkampioen in de finale tegen ESV Ingolstadt. Na een start buiten de top tien in de Oberliga eindigde de club de volgende jaren telkens in de subtop en werd in 1981, 1985 en 1987 telkens kampioen maar kon niet promoveren. In 1993 werd de club opnieuw amateurkampioen, nu tegen het tweede elftal van Werder Bremen. Na de invoering van de Regionalliga in 1994 speelde de club nu op het vierde niveau en werd een jaar later kampioen. In de Regionalliga werd de club slechts zestiende en degradeerde terug naar de Oberliga. Dat jaar maakte de club ook furore in de DFB-Pokal. Bundesligaclub VfB Stuttgart werd verslagen na de langste strafschoppenreeks uit de geschiedenis van de competitie (13:12). In de tweede ronde werd Sandhausen door FC Homburg verslagen. In de Oberliga eindigde de club telkens in de top zeven en werd in 2007 kampioen waardoor ze naar de Regionalliga promoveerden.
In het eerste seizoen van de Regionalliga eindigde de club op de vijfde plaats en kwalificeerde zich zo voor de nieuwe 3. Liga, die nu als derde profklasse ging fungeren. In 2012 werd de club kampioen en promoveerde naar de 2. Bundesliga, maar werd na één seizoen terug naar de 3. Liga verwezen. Deze sportieve degradatie werd echter ongedaan gemaakt doordat MSV Duisburg vanwege ernstige financiële problemen van de Duitse voetbalbond geen licentie kreeg om in het seizoen 2013/2014 de 2. Bundesliga te spelen.
De club speelt haar thuiswedstrijden in het Hardtwaldstadion. Het in 1958 gebouwde stadion heeft 10.000 staanplaatsen en 600 zitplaatsen. Bij de renovatie in 2008 werd het stadion uitgebreid naar ruim 15.000 plaatsen. De clubkleuren van de vereniging zijn zwart-wit.
Sandhausen
Boubacar Barry (jeugd)
Régis Dorn
Dario Đumić
Adriano Grimaldi
Ronald Hoop
Philipp Hosiner
Juho Mäkelä
Michael Ngadeu-Ngadjui
Solomon Okoronkwo
David Ulm
· 
· 