Smith speelde in de jeugd van Tranmere Rovers en later bij Manchester City. In 2012 verliet hij de opleiding van City en hierop kwam hij bij Huddersfield Town terecht. Zijn competitiedebuut maakte de verdediger op 23 november 2013, toen met 1–2 gewonnen werd op bezoek bij Sheffield Wednesday. Martin Paterson en Adam Clayton scoorden voor Huddersfield en Connor Wickham zorgde in de blessuretijd nog voor het tegendoelpunt. Smith mocht in de basisopstelling starten en hij speelde het gehele duel mee.[1] In februari 2014 verlengde Huddersfield het contract van Smith tot medio 2016.[2] Later werd de verbintenis opengebroken en verlengd tot 2018 en later tot 2019.[3][4] Zijn eerste competitiedoelpunt maakte de vleugelverdediger op 19 november 2016. Op bezoek bij Cardiff City scoorde hij na achtentwintig minuten, nadat Sean Morrison en Junior Hoilett al voor Cardiff gescoord hadden. Hierna maakte Rickie Lambert er 3–1 van en de aansluitingstreffer van Philip Billing bleek de laatste treffer.[5] Aan het einde van het seizoen 2016/17 werd promotie naar de Premier League bereikt. In de finale van de play-offs werd na strafschoppen gewonnen van Reading.[6] Na twee seizoenen op het hoogste niveau degradeerde Huddersfield weer naar het Championship. Hierop verkaste Smith voor circa vierenenhalf miljoen naar Stoke City, waar hij zijn handtekening zette onder een verbintenis voor de duur van drie seizoenen.[7] Na afloop van dit contract tekende Smith voor een jaar bij competitiegenoot Middlesbrough.[8] Zijn contract werd in februari 2023 opengebroken en met twee seizoenen verlengd, tot medio 2025.[9]