Der Verein wurde 1911 gegründet. In den Jahren 1923 und 1930 konnte die estnische Meisterschaft gewonnen werden. Zwischen 1947 und 1963 spielte man im Fußballsystem der Sowjetunion. In den Spielzeiten 1960 und 1961 stellte der Club die erste und einzige estnische Mannschaft, die in der höchsten Liga der Sowjetunion am Spielbetrieb teilnahm (Wysschaja Liga (Sowjetunion)). Am Ende der Saison 1963 wurde der Verein aufgelöst. Schließlich erfolgte 2002 die Neugründung. Als Dritter der Esiliiga erreichte man 2006 die Relegation gegen Tulevik Viljandi, den Vorletzten der Meistriliiga. Kalev setzte sich durch und stieg auf. 2009 erfolgte der Abstieg in die Esiliiga. Nach zwei Jahren Abstinenz kehrte Kalev in der Spielzeit 2012 zurück in die Meistriliiga. Anschließend pendelt der Verein lange Zeit zwischen zweiter und erster Liga hin und her. Nach dem 3. Platz in der Meistriliiga 2023 konnte man sich dann auch erstmals für einen europäischen Wettbewerb qualifizieren und traf hier in der 1. Qualifikationsrunde der UEFA Conference League 2024/25 auf den FC Urartu Jerewan aus Armenien (1:2, 0:2).
Teemu Tainio
FC Urartu Jerewan
Frank Bernhardt (2011–2013)
Argo Arbeiter (2017–2018)
Dmitrijs Kalasnikovs (2020)
Teemu Tainio (2024–)
