In 1971 werd hij gepromoveerd tot brigadier-generaal en vervulde hij verschillende functies binnen de militaire staf en tussen 1976 en 1979 diende hij als Chief of Staff of the United States Army. Onder de leiding van Rogers werden de trainingen van de militairen veranderd en probeerde hij het leger verder open te stellen voor vrouwen en andere minderheden. Ook gaf hij de goedkeuring voor de oprichting van Delta Force, de eerste contraterroristische eenheid van Amerika.
Door president Jimmy Carter werd Rogers in 1979 benoemd tot Opperbevelhebber van de NAVO. Hij vervulde deze functie tot 1987 toen hij met pensioen ging. Na zijn pensioen werd hij directeur van de Council on Foreign Relations en de Atlantic Council. Hij overleed in 2008 na een hartaanval.