Karlovec byl založen na konci 16. století tehdejším majitelem panství Šternberského, Karlem II. Minsterberským. Vesnice svůj název pravděpodobně získala právě podle tohoto knížete. Původně se jednalo o ves hromadného typu, jádro obce tvořil shluk domů kolem renesančního zámku, který byl v pozdějších letech barokně přestavěn. Po druhé světové válce opustila Karlovec většina zdejších německých obyvatel. Později v 50. letech byla vesnice opět dosídlena. Původně čistě moravský katastr Karlovce byl v roce 1954[4] rozšířen o kolonie slezských obcí Mezina a Razová, čímž získal své dnešní hranice a od té doby zasahuje Karlovec do Slezska.
Stavba přehrady
O vybudování přehrady v údolí řeky Moravice, se začalo uvažovat již v 60. letech 20. století. Z tohoto důvodu byla v obci zavedena stavební uzávěra, která neumožňovala stavět nové domy nebo výrazněji opravovat ty původní. Na počátku 90. let byla zástavba Karlovce včetně připojeného slezského území zbourána. V letech 1996-1998 bylo údolí zatopeno vodní nádrží Slezská Harta. Z původního Karlovce zůstal zachován pouze kostel svatého Jana Nepomuckého s přilehlým hřbitovem a farou. Kostel, který byl postaven na kopci nad vesnicí, se nyní nachází na břehu přehradního jezera, nad zatopeným zbytkem vesnice.
Vývoj počtu obyvatel
Počet obyvatel Karlovce podle sčítání nebo jiných úředních záznamů[5]:
↑Úřední list republiky Československé, ročník 1953, částka 148, str. 1414, vydáno v Praze dne 12. prosince1953
↑Český statistický úřad. Historický lexikon obcí České republiky 1869–2005. Příprava vydání Balcar, Vladimír; Havel, Radek; Křídlo, Josef; Pavlíková, Marie; Růžková, Jiřina; Šanda, Robert; Škrabal, Josef. Svazek 1. Praha: Český statistický úřad, 2006. 2 svazky (760 s.). ISBN80-250-1311-1. S. 706–707.Statistický lexikon obcí v zemi Moravskoslezské. Praha: Ministerstvo vnitra a Státní úřad statistický, 1935. S. 1.Český statistický úřad. Statistický lexikon obcí České republiky 2005. Příprava vydání Růžková, Jiřina; Morávková, Štěpánka; Škrabal, Josef; Jungová, Galina; Pavlíková, Marie. Svazek 1. Praha: Ottovo nakladatelství s.r.o., 2005. 1360 s. ISBN80-7360-287-3. S. 1074–1075.