Er war der älteste Sohn von Henry Bathurst, 2. Earl Bathurst. Am 1. April 1789 heiratete er Georgina (* 6. Dezember 1765; † 20. Januar 1841), die Tochter von Lord George Henry Lennox und Enkelin des 2. Duke of Richmond. Das Paar hatte vier Söhne und zwei Töchter. Sein ältester Sohn Henry George (* 24. Februar 1790; † 25. Mai 1866) erbte den Titel als 4. Earl Bathurst.
Als Pitt im Mai 1804 ein zweites Mal Premierminister wurde, übernahm Bathurst das Amt des Leiters der Royal Mint(Master of the Mint). Er hatte diese Position bis 1806 und ein weiteres Mal von 1807 bis 1812. Unter den Premierministern William Cavendish-Bentinck, 3. Duke of Portland und Spencer Perceval war er Präsident des Handelsamtes (Board of Trade). 1809 war er von Oktober bis Dezember Außenminister.[1] Am 11. Juni 1812 wurde er Kriegs- und Kolonialminister, als der amtierende Minister, Robert Jenkinson, 2. Earl of Liverpool, das Amt des Premierministers übernahm.[2] Bathurst bekleidete diese Position bis zum 30. April 1827 und verdankte es diesem Amt, dass diverse abgelegene Orte nach ihm benannt wurden. 1817 wurde er in den Hosenbandorden aufgenommen.