Zwischen 1941 und 1944 diente er in einer Reihe von Verwendungen. Danach wurde er mit der 63. US-Infanteriedivision nach Europa geschickt. 1945 kehrte er in die Vereinigten Staaten zurück um als Ausbilder in Fort Sill, Oklahoma zu dienen. Danach wurde er von 1947 bis 1949 wieder nach Europa versetzt und diente dort in der US Constabulary.
1964 folgte er General Maxwell D. Taylor, der als Botschafter nach Südvietnam ging und das besondere Vertrauten von Präsident Johnson genoss, als Vorsitzender der Joint Chiefs of Staff nach und behielt diesen Posten bis zum Jahr 1970 und damit fast den gesamten Vietnamkrieg über.
Berücksichtigt man die große Anzahl an verfügbaren Generälen 1964, die sich im Zweiten Weltkrieg und in Korea verdient gemacht hatten, war der Stabsoffizier Wheeler eine überraschende Entscheidung für den führenden Posten im Pentagon. Seine relativ geringe Kampferfahrung mag dabei vielleicht ein Plus in den Augen des neuen Präsidenten Lyndon B. Johnson gewesen sein. Johnson, der mit General Lemnitzer unter Präsident Kennedy schlechte Erfahrung gemacht hatte, war nicht bekannt für seine Toleranz gegenüber militärischen Freidenkern. Daher wird Wheeler von einigen Historikern scharf kritisiert, was seine billigende Inkaufnahme von Johnsons Entscheidungen auf dem Weg durch den Vietnamkrieg betrifft.
Earle G. Wheeler starb in Frederick, Maryland nach einem Herzinfarkt, während er in einem Krankenwagen von seinem Wohnort in West Virginia nach Washington (D.C.) transportiert wurde.
