De club werd in 1881 opgericht na een fusie tussen 2 clubs, Rangers (gevormd in 1880) en Cowdenbeath Thistle. Uit onderzoek is gebleken dat de club de naam Cowdenbeath Rangers verder gebruikte en dat de naam FC pas in 1882 voor het eerst gebruikt werd na een fusie met Raith Rovers (niet te verwarren met de Raith Rovers uit de stad Kirkcaldy), maar de club houdt 1881 als oprichtingsjaar aan.
Na plaatselijke successen werd de club in 1905 tot de Scottish League toegelaten. In 1914 en 1915 werd de club kampioen in de 2de klasse maar kon niet promoveren omdat een club verkozen moest worden tot de hoogste klasse. In 1924 promoveerde de club voor het eerst naar de Premier League en werd daar meteen 5de. Cowdenbeath speelde een decennium in de hoogste klasse en leverde ook 3 spelers voor het Schots voetbalelftal. In 1934 degradeerde de club en 5 jaar later werd Cowdenbeath opnieuw kampioen, met de hulp van topschutter Rab Walls die 54 keer scoorde wat het 2de beste seizoenstotaal is voor een topschutter in de Schotse voetbalgeschiedenis. Door het uitbreken van de Tweede Wereldoorlog werd het verblijf in de hoogste klasse beperkt tot één jaar en sloot de club tijdelijk.
Na de oorlog startte de club opnieuw in de 2de klasse. De club probeerde jaren tevergeefs terug te keren naar de hoogste klasse en slaagde daar pas in 1970 in. Na één seizoen degradeerde de club weer en dat ene seizoen blijft het enige seizoen in de hoogste klasse sinds de jaren 30. Daarna zakte de club weg naar de 3de klasse. In 1992 promoveerde de club opnieuw en had weer hoop op eersteklassevoetbal. Maar na 38 thuiswedstrijden zonder overwinning zonk de club naar de kelder van de competitie, die intussen ook was uitgebreid met een 4de klasse.
Ex-international Craig Levein werd in 1997 aangetrokken als manager voor een meer professionele aanpak. Vier jaar later promoveerde de club naar de 3de klasse maar na 2 jaar stond de club weer bij af. In 2005 werd de club 3de en het volgende seizoen werd de club voor het eerst in 67 jaar nog eens kampioen van zijn reeks zodat in 2006/07 opnieuw in de Second Division (3de klasse) gespeeld kan worden. Maar het verblijf in de Second Division was van korte duur, Cowdenbeath eindigde negende en degradeerde naar de Third Division. In 2009 promoveerde de club terug naar de Second Division. Het seizoen daarop kon het zelfs opnieuw promoveren. Nadat ze de play-offs gewonnen hadden kwamen ze uit in de First Division. In het seizoen 2010/11 eindigde Cowdenbeath op de negende plaats in de First Divison, waardoor het play-offs diende te spelen. De club kon de play-offs niet succesvol afronden en degradeerde naar de Second Division maar keerde na een eenjarig verblijf weer terug op het tweede niveau. In 2015 en 2016 volgden vervolgens twee opeenvolgende degradaties waardoor de club momenteel op het vierde niveau uitkomt. In 2022 degradeerde de club zelfs naar de Lowland Football League.
Donald Findley
