После создания КНР в 1949 году Чжан Айпин был одним из создателей НОАК. Командовал первыми подразделениями военно-морских сил КНР, а также рядом сухопутных частей в Корейской войне. В 1954—1967 годах замначальника Генштаба НОАК. Генерал-полковник (27.09.1955), утверждён с введением воинских званий в НОАК[1].
Во время «культурной революции» Чжан Айпин был обвинен в контрреволюционных преступлениях и снят со всех постов. Был изувечен хунвейбинами (перелом ноги), в связи с чем заметил в своё время: «Единственное, что мне дала культурная революция — это трость».
В 1973 году был реабилитирован и вернулся на военную службу, после смерти Мао Цзэдуна занимал пост министра обороны с 1983 по 1988 годы, а также занимал должности заместителя начальника Генерального штаба НОАК (1977—1982 годах, второй раз), вице-премьера Госсовета КНР (1980—1982), члена Госсовета КНР (1982—1988) и председателя комиссии по модернизации НОАК.
В этих чрезвычайных обстоятельствах, мы, как старые солдаты, обращаемся с призывом: поскольку Народно-освободительная армия принадлежит народу, она не может противостоять народу, а тем более убивать людей; нельзя допустить кровопролития, чтобы предотвратить эскалацию ситуации, армия не должна входить в город.
— Е Фэй, Чжан Айпин, Сяо Кэ, Ян Дэчжи, Чэнь Цзайдао, Сун Шилунь и Ли Цзюкуй, письмо Центральному военному совету КНР и руководству штаба по военному положению в Пекине 21 мая 1989 года.