Fondato nel 1883, il Raith Rovers (dal gaelico scozzese Rath, "forte" o "fortezza") esordì nei campionati nazionali nel 1902, iscritto in Division Two. Vinse il campionato nel 1908, ma non fu promosso. Due anni dopo fu ancora primo, insieme al Leith Athletic, e poté salire in Division One. Le prime stagioni in massima serie non portarono risultati esaltanti, tuttavia il Raith arrivò in finale di Coppa di Scozia nel 1913, dove perse contro il Falkirk (2-0). Nel 1917, con la prima guerra mondiale in corso, si ritirò dai campionati.
Tornò a partecipare alla Division One nel 1919 e poco tempo dopo, nella stagione 1921-22, il Raith Rovers si classificò terzo dietro a Celtic e Rangers, realizzando il miglior piazzamento della sua storia. Ottenne inoltre un quarto posto nel campionato 1923-24, dopodiché i risultati calarono bruscamente e soltanto due anni più tardi retrocesse. Riconquistò un posto in Division One nel 1927 e nel 1938, ma in entrambi i casi la mantenne per una sola stagione.
Nel secondo dopoguerra disputò la Division B fino al 1949, anno in cui vinse la categoria e fu finalista nella Coppa di Lega, persa 2-0 contro i Rangers. Negli anni cinquanta si mantenne stabilmente in Division One, cogliendo come migliori risultati il 5º posto nella stagione 1951-52 e il 4° nel 1956-57. Retrocesse in Division Two nel 1963 e rimase in seconda serie, a parte un triennio in Division One tra il 1967 e il 1970, fino al 1975, anno della riforma dei campionati, che mandò il club nella nuova Second Division (terza serie). Per quasi vent'anni alternò partecipazioni in Second Division ad altre nella sovrastante First Division, dove si stabilizzò dal 1987.
Il Raith ebbe un nuovo slancio negli anni novanta: nel 1993 vinse la First Division e ottenne la promozione; disputò così la Scottish Premier Division 1993-1994, ma arrivò undicesimo e retrocesse. L’anno seguente fu di nuovo primo in First Division, ma soprattutto vinse il suo primo trofeo, la Scottish League Cup, battendo in finale il Celtic (2-2 e poi 6-5 ai rigori) e qualificandosi per la Coppa UEFA 1995-1996: in Europa il Raith Rovers raggiunse il 2º turno dopo aver eliminato i faroesi del GÍ e gli islandesi dello ÍA, perdendo infine contro il Bayern Monaco (1-4 tra andata e ritorno); in campionato si classificò sesto.
Il club lasciò la massima serie al termine della stagione 1996-97, quando arrivò ultimo, e negli anni duemila fece la spola tra First Division e Second Division. In seguito ebbe un paio di occasioni per riconquistare la Premier: fu secondo in First Division 2011-12, dietro al Dunfermline, e quarto nella Championship 2015-16, eliminato poi ai play-off dall'Hibernian. Nel 2016-17, invece, si è piazzato al nono posto e, sconfitto ai play-out dal Brechin City, è retrocesso in League One. L'anno successivo è arrivato secondo e ha perso la semifinale play-off contro l'Alloa Athletic.
In League One 2018-19 si classifica terzo e, dopo aver eliminato il Forfar Athletic, arriva in finale play-off, nella quale è sconfitto dal Queen of the South. Nel campionato successivo, interrotto per la pandemia di COVID-19, arriva primo ed è promosso in Championship.
In Championship 2020-21 il Raith è in grado di lottare per un posto valido per i play-off, concludendo la stagione regolare al terzo posto dietro a Hearts e Dundee. Agli spareggi il Raith vince il primo turno contro il Dunfermline (2-0 complessivo), ma successivamente perde contro il Dundee (1-3 complessivo), che in precedenza lo aveva sorpassato all'ultima giornata per il secondo posto.
Nella stagione 2021-22 sfiora soltanto i play-off, classificandosi quinto. Dopo un settimo posto nel 2022-23, in Championship 2023-24 torna in corsa per la promozione e, insieme al Dundee Utd, per la vittoria del campionato. Nel finale di campionato il Dundee United allunga definitivamente e conquista il primo posto, mentre il Raith si assicura ampiamente la seconda posizione. Ai play-off incontra e supera il Partick Thistle (terzo classificato) e raggiunge la finale contro il Ross County, penultimo della Premiership. Tuttavia perde entrambe le partite (1-2 in casa e 4-0 in trasferta) e sfuma la possibilità di salire in massima serie.