Michael Jeffery ging im Alter von 16 Jahren nach Canberra, um dort das Royal Military College Duntroon zu besuchen. Nach seinem Abschluss 1958 erfüllte er seinen Dienst in einem in Perth stationierten Regiment, bevor er 1962 auf die Malaiische Halbinsel und nach Borneo entsandt wurde. Nach einer kurzzeitigen Rückkehr nach Perth im Jahr 1965 wurde er von 1966 bis 1969 nach Papua-Neuguinea geschickt. Während des nun folgenden Einsatzes in Vietnam wurde er mit dem Military Cross ausgezeichnet. 1972 durfte er das Staff College der British Army in Camberley besuchen und wurde anschließend im Rang eines Lieutenant Colonel, als Bataillonskommandeur, nach Wewak, Papua-Neuguinea versetzt.
Nunmehr Colonel, kehrte er 1976 nach Perth zurück, um das Regiment zu kommandieren, in dem er seine militärische Laufbahn begonnen hatte. Von 1981 bis 1983 leitete er ein Amt des Verteidigungsministeriums im Rang eines Brigadiers, bevor er eine in Sydney stationierte Brigade anführte. 1985 wurde er am Royal College of Defence Studies in London weitergebildet. Im Anschluss wurde er zum Major General befördert und Kommandeur einer Division. Ab 1989 gehörte er schließlich dem Generalstab der australischen Armee an.
Gouverneur von Western Australia und Generalgouverneur von Australien
Am 1. November 1993 wurde er als Gouverneur des australischen Bundesstaates Western Australia vereidigt. Dieses Amt bekleidete er sieben Jahre bis 2000.