A klubot 1919-ben Borac néven alapították, egy évvel később keresztelkedett SK Karlovacra. A jugoszláv alsóbb osztályú labdarúgó-bajnokságokban vitézkedő csapat 1941-ben egyesült a Viktorija és a Primorac együtteseivel, majd a fúzió révén létrejött új klubot HŠK Velebit néven jegyeztették be.
A következő 20 év újabb névváltozásokat hozott, előbb Udarnik, majd Slavija néven szerepelt, majd 1960-ban vette fel véglegesen a napjainkban is használt klubnevet.
Az első nagyobb sikert az 1970-es évek eleje hozta meg, az NK Karlovac1976-os búcsújáig a jugoszláv másodosztályban szerepelt, majd fokozatosan, egyre alacsonyabb szintű osztályokba esett vissza.
Bár a jugoszláv bajnokságban elért eredményei, illetve elfoglalt helyezése alapján az volt várható, hogy 1992-ben az első független horvát labdarúgó-bajnokság első osztályába nyer majd besorolást, ez nem történt meg. Az NK Karlovac a másodvonalban kezdte meg szereplését. 1997-ben végig versenyben volt az első osztályú tagságért, azonban másodosztályú bronzérme erre nem biztosított lehetőséget. A kudarc szétzilálta a sikercsapatot, és a dobogó alsó fokáról a tabella utolsó helyére parancsolta vissza.
A harmadosztályban folytatólagosan hét szezont töltött, 2000-ben és 2003-ban is ezüstérmet szerzett. 2005-ben egy szezon erejéig belekóstolt a másodosztály vérkeringésébe, azonban az utolsó helyen záró károlyvárosi alakulat mélyrepülése a harmadosztályban is folytatódott: csak az utolsó fordulókban gátolta meg, hogy a negyedosztályba essen vissza.
A rossz teljesítményt felejtendő a klubvezetést új csapat építésébe kezdett, amely 2008-ban harmadosztályú bajnoki címet, 2009-ben pedig a klub történetének addigi legnagyobb sikerét érte el: az NK Karlovac a másodvonal ezüstérmeseként a horvát élvonalba lépett.
A szárnyaló „kék-fehérek” a Prva Ligában is folytatták remek teljesítményüket, és bravúrt bravúrra halmozva a tabella élmezőnyében vertek sátrat.
Ismertebb játékosok
* a félkövérrel írt játékosok rendelkeznek felnőtt válogatottsággal.
