O nome da vila vén da lingua irlandesa e fai referencia á abadía cisterciense fundada no século XII. Coa disolución dos mosteiros durante o período Tudor, a abadía e tódalas súas terras pasaron sucesivamente a mans de Sir Richard Grenville, Robert Boyle e William Forward.
Durante a ocupación británica, o campamento militar de Fermoy foi o campamento máis grande da Illa, construíndose un hospital militar con 130 camas. A vila de Fermoy medrou a raíz da presenza do exército británico ata 1922, cando se estableceu o primeiro Estado Libre Irlandés. Durante a Guerra da Independencia, Fermoy foi o escenario do primeiro ataque do IRA a tropas británicas o que fixo que a vila sufrira os ataques máis violentos por parte das forzas británicas, queimando parte do centro da vila.
Hoxe en día, o monte no que se atopaba o campamento denomínase Barrack Hill.
