Phillips ging in Cheyenne, Wyoming, zur Schule und studierte Ingenieurswesen an der University of Wyoming vor dem Zweiten Weltkrieg. Im Zweiten Weltkrieg war er Kampfpilot und war in England 1944/1945 stationiert. Danach war er in Frankfurt am Main stationiert. Phillips war von 1964 bis 1969 Direktor des Apollo Manned Lunar Lander Program der NASA beim Apollo-Programm. Von 1972 bis 1973 war er Direktor der National Security Agency (NSA). Von 1973 bis 1975 war er Commander des Air Force Systems Command (COMAFSC).