W 1965 ukończył Royal Military College, Duntroon, szkołę oficerską australijskich sił lądowych. Jako młody oficer brał udział w wojnie wietnamskiej. W kolejnych latach stopniowo piął się w górę hierarchii wojskowej, aż do stopnia generała. Szeroką popularność wśród australijskiej opinii publicznej zdobył w 1999, kiedy to dowodził międzynarodowymi siłami pokojowymi na Timorze Wschodnim (misja INTERFET). W 2000 został głównodowodzącym australijskich wojsk lądowych, a dwa lata później objął najwyższe stanowisko przewidziane w Australii dla żołnierza w służbie czynnej – urząd naczelnego dowódcy Australian Defence Force. Zajmował je przez trzy lata, po czym przeszedł na emeryturę.
Działalność społeczna
W 2006 na prośbę władz stanowych Queensland dowodził operacją mająca na celu usuwanie szkód po przejściu cyklonuLarry w północnej części tego stanu[2]. W latach 2005–2014 zasiadał w radzie nadzorczej australijskiego narodowego przewoźnika lotniczego, Quantas. W latach 2010–2014 był też kanclerzem Australian Catholic University[3].
28 stycznia 2014 premier Australii Tony Abbott ogłosił, iż generał Cosgrove pod koniec marca 2014 zastąpi Quentin Bryce na stanowisku gubernatora generalnego Australii.
Cosgrove był dwukrotnie odznaczany Orderem Australii. W 1985 został członkiem orderu, zaś w 2000 jego kawalerem. W chwili objęcia urzędu gubernatora generalnego Australii automatycznie został rycerzem Orderu Australii, co uprawnia go do dopisywania przed nazwiskiem tytułu Sir.