Від 1952 працював в Інституті проблем передачі інформації АН СРСР (Москва), від 1962 — його директор. Водночас (1952—1962) викладав у Московському електротехнічному інституті зв'язку.
Був одружений з Тетяною Дмитрівною Отт (1903 — 1985). 30 жовтня 1927 в Ленінграді в них народився син — майбутній доктор медичних наук Дмитро Олександрович Харкевич.
Наукова діяльність
Основні праці — з теорії та розрахунку електроакустичних апаратів, теорії інформації, з радіотехніки.
Автор понад 100 наукових робіт, зокрема 10 монографій. Його «Нариси загальної теорії зв'язку» (1955) стали однією з праць, що заклали підвалини теорії інформації.