Вулиця виникла на початку XX століття (не пізніше 1912 року) під назвою Суворовська, з 1944 року — вулиця Марка Вовчка[1]. Назву Білгородська отримала 1955 року[2].
Білгородська — зукраїнізований варіант офіційно наданої назви Бєлгородська на честь сучасного російського міста Бєлгород (укр. Білгород) на території історичної Слобідської України. Разом з тим в Україні існують (Білгород-Дністровський) або існували (Білгород-Київський) й інші топоніми, від яких може бути виведено походження назви вулиці.
8 лютого 2024 року Київською міською радою перейменована на вулицю Василя Овсієнка[3].