Народився 7 лютого 1909 року в місті Києві в родині робітника. Українець. У роки громадянської війни залишився сиротою. Здобув неповну середню освіту. Працював склодувом на київському скляному заводі «Червона Гута». Член ВКП(б) з 1932 року.
У червні 1932 року за партійним набором вступив до лав РСЧА. У 1933 році закінчив Першу військову школу льотчиків імені О. Ф. М'ясникова (Кача). Проходив військову службу в частинах ВПС Білоруського військового округу: пілот штурмової ескадрильї 252-ї авіаційної бригади, з липня 1935 року — інструктор-льотчик 40-ї авіаційної бригади, з серпня 1938 року — командир ланки 15-го винищувального авіаційного полку 70-ї авіаційної бригади.
З березня 1940 року — командир ланки 72-го змішаного авіаційного полку ВПС Північного флоту. У червні 1941 року призначений заступником командира ескадрильї того ж полку.
До початку травня 1942 року гвардії капітан О. А. Коваленко здійснив 146 бойових вильотів, провів 22 повітряних бої, у яких збив особисто 8 літаків супротивника. Всього ж за роки війни здійснив 207 бойових вильотів, провів 38 повітряних боїв, збив особисто 13 й у складі групи — 6 літаків супротивника.
У січні 1943 року за станом здоров'я був усунутий від льотної роботи. Навчався на Вищих курсах командного складу ВПС ВМФ, після закінчення яких у січні 1944 року призначений помічником командира 3-го навчального авіаційного полку з льотної підготовки і повітряного бою ВПС Північного флоту.