Родился на Полтавщине, Глобинский район, село Устимовка 25 июля (12 июля по старому стилю) 1917 года в крестьянской семье. Однако официально считается, что он родился 25 июня.
Из воспоминаний П. Г. Левченко: …после окончания военного училища, я перепутал старое и новое исчисление времени и своем личном деле записал день моего рождения не 25 июля, а 25 июня, и так эта дата на всю жизнь стала днем моего рождения.
После окончания семи классов средней школы в июне 1932 года поступил на учебу на учительские шестимесячные курсы по подготовке учителей для начальных школ при педагогическом техникуме города Кременчуг. Курсы учителей начальной школы закончил в декабре 1932 года. В 1932—1934 гг. работал учителем начальных классов в школах Полтавщины.
В 1935 году поступил Харьковскую Школу Червоных Старшин (ШЧС) им. ВЦИК УССР, готовившее командиров стрелковых взводов. Выпуск курсантов был проведен 5 июня 1938 года с присвоением воинского звания «лейтенант».
В июле 1938 года направлен для дальнейшего прохождения службы командиром взвода в 30 стрелковый полк в город Череповец. В декабре 1938 года полк передислоцирован в город Кострому.
В 1939 году направлен на учебу в Военную артиллерийскую академию им. Ф. Э. Дзержинского (г. Москва). Зачислен слушателем 4-го командного факультета зенитной артиллерии. Командный зенитный факультет в артиллерийской академии был создан в 1938 году, сразу же после передислокации академии из Ленинграда в Москву. После окончания второго курса, в июле 1941 года был направлен в г. Люберцы, Московской области, где формировался 867 отдельный противотанковый дивизион.
В связи с дефицитом квалифицированных кадров на командные должности в зенитной артиллерии, отобран из дивизиона для укомплектования вновь формируемого 864 зенитного артиллерийского полка, предназначавшегося для непосредственного прикрытия наиболее важных объектов города Москвы. Командовал 16-й батареей полка. В составе батареи участвовал в отражении налетов фашистской авиации на г. Москву.
В январе 1942 года приказом Народного Комиссара обороны присвоено очередное воинское звание — «капитан».
В марте 1942 года назначен на должность командира 92-го бронепоезда ПВО с местом дислокации город Ворошилов-Уссурийск, Приморского края в распоряжение Командующего 25 армией Дальневосточного фронта.
С осени 1942 года занимал должность помощника начальника отдела в штабе артиллерии 25 армии. В начале 1943 года назначен офицером в управление ПВО Дальневосточного фронта с присвоением очередного воинского звания «майор».
В июне 1944 года руководство ВС СССР приняло решение, в котором было определено, что все офицеры, не закончившие полный курс военных академий до начала Великой Отечественной войны, должны быть откомандированы в академии для завершения учёбы. В соответствии с данным решением майор Левченко направлен для окончания учёбы в Военную артиллерийскую академию им. Ф. Э. Дзержинского.
В феврале 1947 года присвоено воинское звание «подполковник».
26 октября 1947 года закончил Военную артиллерийскую академию им. Ф. Э. Дзержинского (г. Москва) с золотой медалью.
С 1947 года до 1955 года проходил службу в Управлении боевой подготовки артиллерии Советской Армии, которому в то время подчинялась и боевая подготовка зенитной артиллерии.
В начале 1955 года приказом Министра обороны назначен командиром зенитной артиллерийской бригады Северо-Кавказского военного округа, г. Ейск, Краснодарского края. В 1957 году бригада переформирована в дивизию и перевооружена на 100-мм и 57-мм зенитные артиллерийские комплексы. Командовал зенитной артиллерийской дивизией до лета 1958 года.
В 1958 году направлен на учебу в академию Генерального штаба им. К. Е. Ворошилова.
После завершения учебы в академии в 1960 году назначен помощником главнокомандующего по ПВО — начальником ПВО Группы советских войск в Германии, в этой должности служил до декабря 1967 года.
В апреле 1964 года — постановление Совета Министров СССР о присвоении воинского звания «генерал-лейтенант артиллерии».
В декабре 1967 года назначен на должность заместителя начальника войск ПВО Сухопутных войск по боевой подготовке.
С мая 1969 г. — начальник войск ПВО Сухопутных войск.
В феврале 1972 года Левченко присвоено звание «генерал-полковник артиллерии», а затем решением ЦК КПСС он введён в состав Военного совета Сухопутных войск.
В марте 1979 года в Вооруженных Силах СССР были проведены крупные организационные мероприятия по созданию единой системы противовоздушной обороны. Управление начальника войск ПВО Сухопутных войск было подчинено Главнокомандующему Войсками ПВО СССР. Войска ПВО Сухопутных войск были переименованы в войсковую противовоздушную оборону. Генерал Левченко П. Г. назначен командующим войсковой противовоздушной обороны — первым заместителем Главнокомандующего Войсками ПВО СССР.
5 июня 1981 года уволен из рядов Советской Армии по состоянию здоровья.
Преемником генерал-полковника артиллерии П. Г. Левченко стал командующий войсками ПВО Группы советских войск в Германии генерал-лейтенант артиллерии Ю. Т. Чесноков.
За период руководства войсками ПВО Сухопутных войск ему удалось решить следующие основные проблемы:
заложить основы дальнейшей разработки зенитного вооружения второго поколения для войск ПВО СВ: ЗРС С-300, ЗРК «Бук», «Тор», ЗПРК «Тунгуска»;
организовать проведение тактических учений с боевой стрельбой соединений и частей ПВО СВ на Государственном полигоне Эмба не реже одного раза в два года;
создать учебный центр по подготовке иностранных специалистов ПВО в г. Мары и организовать поставку вооружения ПВО СВ в зарубежные страны;
создать научно-исследовательский институт войск ПВО СВ (г. Киев).
Сочинения
Левченко П. Г. ПВО Сухопутных войск в наступательных операциях второго и третьего периода войны // Военно-исторический журнал. — 1976. — № 3. — С. 32—38.
10 лет Военной академии противовоздушной обороны Сухопутных войск Российской Федерации (1992—2002): Исторический очерк / Под ред. генерал-полковника В. К. Черткова. — Смоленск: Смядынь, 2002. — 376 с. — ISBN 5-87210-044-2.
Левченко П. Г. Во имя Советской Родины. 1982 г. Рукопись (Не опубликована).