Klub je osnovan 1883. godine kao Singers FC. Član Football League postaje 1919. godine. Najveći uspjeh kluba je osvajanje FA kupa 1987. godine nakon što je u finalu biio bolji od Tottenhama sa 3-2. Klub je dva puta igrao polufinale Secondary kupa, 1981. i 1990. godine. Coventry City je bio član Premijer lige u prvoj sezoni, 1992. godine. Do 2001. godine klub je proveo 34 sezone u najvišem rangu engleskog nogometa.
Od 2005. godine domaće utakmice igra na stadionu Ricoh Arena. Prethodno je igrao na stadionu Highfield Road. Najveći rival kluba je Leicester City sa kojim igra M69 derbi.
