L'ascens de Taylor als màxims graons del govern dels Estats Units van començar sota la tutela del General Matthew B. Ridgway a la 82a Divisió Aerotransportada, quan Ridgway comandà la divisió durant les primeres etapes de la participació estatunidenca a la Segona Guerra Mundial. El 1943, les habilitats lingüístiques i diplomàtiques de Taylor el portaren fins a Roma en missió secreta per coordinar el salt de la 82 aerotransportada amb l'exèrcit italià. El General Eisenhower posteriorment afirmaria que "els riscos que corria eren majors que els que li hagués demanat a qualsevol altre agent o emissari durant la guerra". A milers de kilòmetres darrere les línies del front, Taylor estava obligat per les lleis de la guerra a portar el seu uniforme militar americà, i així si el capturaven no podria ser afusellat com a espia. Es va reunir amb el nou Primer Ministre italià, el Mariscal Pietro Badoglio. El salt sobre Roma per capturar la ciutat va ser anul·lat al darrer instant, quan Taylor s'adonà que era massa tard: les forces alemanyes s'estaven movent per cobrir les zones de llançament previstes. Els avions de transport ja estaven a l'aire quan el missatge de Taylor cancel·là el salt, evitant una missió suïcida. Tots aquests esforços darrere les línies enemigues van fer que Taylor fos advertit als màxims nivells del comandament aliat.
Taylor saltà sobre Normandia el 6 de juny de 1944. Va ser el primer general Aliat en arribar a França durant el Dia-D. Comandà la 101 durant tota la resta de la guerra, però es perdé la seva batalla més famosa durant el conflicte, la batalla de Bastogne durant la batalla de les Ardenes, perquè estava assistint a una conferència d'estat major als Estats Units. (temporalment, el comandament de la divisió caigué en mans del seu comandant d'artilleria, Brig. Gen. Anthony McAuliffe). Alguns dels paracaigudistes mostrarien el seu ressentiment cap a Taylor pel seu retard; i aquest anomenà la defensa de Bastogne com el millor moment de la 101a Divisió Aerotransportada durant la guerra, i afirmà que la seva absència va ser una de les seves decepcions més grans de tota la guerra.
Després de la Segona Guerra Mundial
Entre 1945 i 1949 Taylor va ser Superintendent de l'Acadèmia Militar dels Estats Units. El 1947 va fer l'esborrany de la primera publicació oficial de Codi d'Honor, amb l'inici de la publicació de "Cadet Honor Code" a West Point. Posteriorment va ser comandant de les tropes aliades a Berlín entre 1949 i 1951.
El 1953 va ser enviat a la Guerra de Corea. Entre 1955 i 1959 va ser Cap de l'Estat Major de l'Exèrcit dels Estats Units, succeint en el càrrec al seu antic mentor, Matthew B. Ridgway. Durant el període com a Cap d'Estat Major, Tayler intentà guiar el servei cap a l'època de l'armament nuclear a través de la reestructuració de la divisió d'infanteria. Els observadors com el CoronelDavid Hackworth va escriure que l'esforç destripà el paper de la companyia i dels oficials de camp, mostrant-se inadaptable a les dinàmiques del combat a Vietnam.
Com a Cap de l'Estat Major, Taylor no va reprimir les seves crítiques cap a l'Administració Eisenhower i la seva política de defensa Nova Imatge, que veia massa depenent de l'armament nuclear i negligent cap a les forces convencionals, a part de mostrar-se crític cap al sistema inadequat de la Junta de Caps d'Estat Major. Frustrat amb l'administració, el General Taylor es retirà del servei actiu al juliol de 1959. va fer una campanya pública en contra de la Nova Imatge, culminant amb la publicació d'un llibre molt crític, de títol "La trompeta incerta", el gener de 1960.
Retorn al servei actiu
A la campanya presidencial de 1960, el candidat demòcrata John Kennedy va mostrar-se crític amb la política defensiva d'Eisenhower i proposava una resposta flexible a la política internacional, d'acord amb les tesis exposades per Taylor al seu llibre. Després del fracàs de la Invasió de Bahía de Cochinos, Kennedy, que creia que la Junta de Caps d'Estat Major havia fracassat en la tasca de proporcionar-li un consell militar satisfactori, nomenà a Taylor per encapçalar un comitè per investigar el fracàs de la invasió.
Tant el President Kennedy com el seu germà, el Fiscal General Robert F. Kennedy, sentien un gran afecte cap a Taylor, a qui veien com un home d'una integritat, sinceritat, intel·ligència i diplomàcia inqüestionable. El Grup d'Estudi de Cuba es trobà durant 6 setmanes entre abril i maig de 1961 per fer una "autòpsia" dels desastrosos fets al voltant de la Invasió de la Bahia dels Porcs. Durant el transcurs del seu treball conjunt, Taylot també desenvolupà un profund afecte i un afecte personal cap a Bob Kennedy, una amistat que només finalitzaria amb l'assassinat de Kennedy el 1968 (Bob Kennedy anomenaria a un dels seus fills Matthew Maxwell Taylor Kennedy, sent conegut simplement per "Max")
Poc després de concloure la investigació, els sentiments dels Kennedy cap a Taylor, així com la manca de confiança de Kennedy cap a la Junta de Caps d'Estat Major va fer que John Kennedy tornés a cridar a Taylor pel servei actiu i destinar-lo al càrrec recent creat de "Representat militar del President". La seva relació personal amb el President i el seu lliure accés a la Casa Blanca van convertir efectivament en el principal conseller militar del President, deixant arraconada la Junta de Caps d'Estat Major. L'1 d'octubre de 1962, Kennedy finalitzà aquesta situació incòmoda nomenat a Taylor President de la Junta de Caps d'Estat Major, càrrec que ocuparia fins a 1964.
Guerra de Vietnam
Taylor tingué una importància vital durant les primeres setmanes i mesos de la Guerra de Vietnam. Si bé en un inici el President Kennedy li havia dit que la independència del Vietnam del Sud descansa en la gent i el govern d'aquell país, Taylor recomanà ben aviat que s'enviessin 8.000 tropes de combat americanes a la regió. Després d'exposar el seu informe davant el Govern i dels Caps d'Estat Major, Taylor va haver de reflectir la decisió d'enviar soldats al Vietnam: No recordo ningú que estigués totalment en contra, llevat d'un home, i era el President. El President no volia convences que era la decisió correcta. Realment, la convicció personal del President era que les tropes de terra dels Estats Units no hi havia d'anar.
Segon retir
Es retirà novament i esdevingué Ambaixador dels Estats Units al Vietnam del Sud; va ser Conseller Especial del President i President del Gabinet de Consellers d'Intel·ligència Estrangera (1965-69) i President de l'Institut de les Anàlisis de Defensa (1966-69)
