У 1924 році вступив, а у 1927 році закінчив 5-у Українську кавалерійську школу імені С. М. Будьонного в Єлизаветграді. Проходив військову службу на командних і штабних посадах. Закінчивши в 1939 році академію ім. Фрунзе, обіймав посаду начальника штабу дивізії в званні полковника. З лютого 1940 року — командир 65-ї мотострілецької дивізії.
Після війни Кошовий займав ряд важливих командних посад і високо котирувався як командувач і військовий адміністратор (за свідченням його внука, письменника П. Р. Паламарчука, «його соратник маршал Баграмян називав його в той період військовим номер один»), хоча не гнався за кар'єрою і за посадами в Міністерстві оборони і пишався тим, що «ніколи не служив у Москві». Був командувачем армії (1946–1955), першим заступником Головнокомандувача Групою радянських військ в Німеччинні (1955–1957), командувачем військами Сибірського військового округу (1957–1960), Київського військового округу (1960–1965).
Проте вже в жовтні 1969 року Кошовий був зміщений з поста Головнокомандувача і замінений на В. Р. Кулікова. З того часу до кінця життя він займав традиційну для тих Маршалів, що пішли фактично у відставку почесну посаду «генерального інспектора Групи генеральних інспекторів Міністерства оборони СРСР».
П. К. Кошовий був першим з померлих на волі і у званні Маршала Радянського Союзу, похованих не біля Кремлівської стіни, а на Новодівичому кладовищі в Москві.
Чабаненко В. В. «Прославлені у віках: Нариси про Героїв Радянського Союзу — уродженців Кіровоградської області». — Дніпропетровськ: Промінь, 1983, стор. 5-8.