A cidade é coñecida polo seu histórico castelo de pedra, atopado no alto de Vallimägi. O castelo construíuse antes de 1226, no lugar que ocupaban o forte dos antigos vironianos, coñecida como Rakovor (Раковор) segundo fontes rusas. Rakvere obtivo o estatuto de cidade o 12 de xuño de 1302. O compositor Arvo Pärt pasou a súa infancia en Rakvere.