Tähän artikkeliin tai osioon ei ole merkitty lähteitä, joten tiedot kannattaa tarkistaa muista tietolähteistä. Voit auttaa Wikipediaa lisäämällä artikkeliin tarkistettavissa olevia lähteitä ja merkitsemällä ne ohjeen mukaan.
Hänen vanhempansa olivat Mulgraven 1. paroni Constantine Phipps (22. elokuuta 1722–13. syyskuuta 1775) ja Lepell Hervey (15. huhtikuuta 1723–11. maaliskuuta 1780). Hänellä oli 5 sisarusta. 20. kesäkuuta 1787 hän avioitui Anne Elizabeth Cholmleyn (kuollut 22. toukokuuta 1788) kanssa.
Phipps opiskeli Eton CollegessaJoseph Banksin kanssa, mutta lopetti opintonsa päästessään merille setänsä kapteeni A. J. Herveyn laivalle. 1766 hän purjehti luutnanttina Newfoundlandiin HMS Nigerillä. Banks seurasi mukana laivan luonnontieteilijänä.
4. heinäkuuta 1773 kapteeni Phipps lähti Deptfordista matkalle kohti Pohjoisnapaa. Hänellä oli 2 laivaa, Racehorse ja Carcass. Luonnontieteilijänä ja lääkärinä matkalla oli tohtori Irving ja Israel Lyons tähtitieteilijänä. Yksi Carcassin miehistön jäsenistä oli nuori Horatio Nelson. He purjehtivat Huippuvuorten pohjoispuolelle, mutta joutuivat jäiden vuoksi kääntymään takaisin ja saapuivat Orfordnessiin, Kaakkois-Englantiin, 17. syyskuuta. Matkan aikana Phipps ensimmäisenä eurooppalaisena kuvaili jääkarhun ja jäälokin, jotka esiintyvät hänen kirjassaan A Voyage towards the North Pole undertaken... 1773 (1774).
Phipps palveli laivastossa aina vuoteen 1783 saakka, komentaen Courageux nimistä sotalaivaa.
1775 hän seurasi isäänsä paroni Mulgravena (Irlanti). Hänet nimitettiin Ison-Britannian aatelissäätyyn vuonna 1790, mutta titteli menetti merkityksensä hänen kuoltuaan. Hänen veljensä Henry Phipps peri paronin arvon.