Получило название по речке Перлёвке, упоминающейся в документах 1615 года. Речка же такое имя получила потому, что в период весеннего половодья она сильно «переливает» — выходит из берегов и затопляет луга.
Первоначально село было заселено казаками-черкасами (132 двора) и пришлыми русскими (32 двора).
В исторических документах говорится, что в 1712 году отводилась земля «черкасам сотнику Мартыну Федорову да Филиппу Григорьеву с товарищи сту тридцати человекам, да русским людем Козьме Клименову сыну Шубину да Ивану Степанову сыну Тотаринцеву с товарищи тридцати человекам дворовые усадьбы и под огороды…».
По сведениям 1859 года, Перлёвка имела статус села казенного, в ней насчитывалось 385 дворов, 2046 жителей мужского пола и 2187 женского. (Списки населенных мест Российской империи, составленные и издаваемые Центральным статистическим комитетом Министерства внутренних дел. - СПб. : изд. Центр. стат. ком. Мин. внутр. дел, 1861-1885. [Вып. 9] : Воронежская губерния : ... по сведениям 1859 года / обраб. Н. Штиглицом. - 1865. http://elib.shpl.ru/ru/nodes/16153-vyp-9-voronezhskaya-guberniya-po-svedeniyam-1859-goda-1865#mode/inspect/page/140/zoom/6)
В 1900 году здесь было 7700 жителей, 1022 двора, 8 общественных зданий, 2 школы, водяная мельница, трактир, 5 лавок, ярмарка[источник не указан 4282 дня].
По данным "Списков населенных мест Воронежской губернии по уездам за 1920 год", Перлёвка была самым многочисленным населенным пунктом Землянского уезда: 1673 двора, 4396 мужчин, 5394 женщин, из них грамотных мужчин 811, грамотных женщин 146.[2]
До 1928 года Перлёвка была волостным центром. Сохранилось здание волостного правления конца XIX века. Правление ведало сбором налогов, набором в армию, решало поземельные споры, контролировало выполнение различных государственных повинностей. В 1917 году здание занял волостной Совет.
Село сильно пострадало во время Гражданской и Великой Отечественной войн. Осенью 1942 года было оккупировано немецкими войсками.
Первая церковь в Перлёвке — Церковь во имя Рождества Христова — была построена в 1699 году; спустя 90 лет заменена каменной, перестроенной в конце XIX века[12] В 1789 году — «вместо деревянной» построена каменная церковь Рождества Христова, с приделами Усекновения Главы Святого Иоанна предтечи (правый) и Святого Митрофана Воронежского (левый). В архитектуре церкви прослеживаются черты позднего барокко, а также элементы эклектики — результат перестройки конца XIX в[13][источник не указан 4282 дня].
В 1918—1924 годах эта церковь стояла на учёте в Отделе по делам музеев Главнауки Наркомпроса как наиболее ценный памятник архитектуры Воронежской губернии. В настоящее время церковь сильно разрушена, свод наполовину обвалился, фрески и внутреннее убранство уничтожены практически полностью.
Памятники
В 1919 году здесь были похоронены погибшие в районе села красноармейцы 3-й бригады 8-й армии. Фамилии и число погибших неизвестны. В январе 1943 года рядом были похоронены воины Красной Армии, погибшие при освобождении села. Установлены фамилии трёх офицеров и 52 солдат. В 1974 году на могиле был установлен скульптурный памятник на прямоугольном кирпичном оштукатуренном постаменте «Скорбящая мать».