Durante l'insurrezione giacobita del 1745, Bute si spostò a Westminster, Londra, ove due anni dopo incontrò Federico, principe di Galles, divenendone uno stretto collaboratore. Alla morte improvvisa del principe nel 1751, l'educazione di suo figlio il principe Giorgio di Galles, divenne una priorità e nel 1755 Bute venne nominato quale suo tutore. Bute organizzò per il principe e per suo fratello Edoardo un corso di lettura e di filosofia naturale tenuto dal lettore itinerante Stephen Demainbray. Furono probabilmente questi primi interessi che smossero nel futuro Giorgio III l'interesse per le scienze naturali. Dopo la morte del principe Federico, Bute fu vicino alla principessa consorte vedova Augusta di Sassonia-Gotha, al punto che le malelingue asserirono che i due avessero una storia d'amore, e addirittura John Horne Tooke (intimo amico del defunto principe) pubblicò un pamphlet scandaloso alludendo alla tresca amorosa tra Bute e la principessa. Si ha ragione di credere che tale storia fosse inventata.
Per l'influenza avuta sul proprio pupillo, Bute si aspettava di ascendere velocemente ad un posto di rilievo politico all'ascesa al trono di Giorgio III nel 1760, ma i suoi piani erano ancora prematuri. Rieletto come rappresentante scozzese nel 1760, egli venne nominato de facto primo ministro durante la Guerra dei Sette anni. In breve tempo, ad ogni modo, Giorgio III iniziò ad essergli inviso ed a guardare altrove in particolar modo dopo che era stato criticato per un discorso ufficiale che la stampa assegnò in toto alla mente di Bute, mentre era stato scritto dal sovrano in persona. A parte ciò, Bute era stato criticato anche per la Cider tax, una tassa che aveva colpito fortemente i produttori di sidro.
Il giornalista John Wilkes pubblicò un giornale dal titolo The North Briton, nel quale colpì con la satira sia Bute che la principessa vedova. Bute poco dopo decise di dimettersi dalla carica di primo ministro, anche se rimase come pari rappresentante nella camera dei lords sino al 1780. Egli rimase in ottimi rapporti con la principessa del Galles, ma i tentativi di quest'ultima di riconciliarlo col figlio Giorgio III si rivelarono sempre futili.
Per il resto della sua vita, Bute rimase nella sua residenza nell'Hampshire, dove continuò a dedicarsi alla botanica oltre che alle lettere ed alle arti di cui divenne un influente patrono. Tra i suoi beneficiari vi furono Samuel Johnson, Tobias Smollett, Robert Adam, William Robertson e John Hill. Egli si prodigò anche a favore delle università scozzesi. La sua opera di botanica culminò con la pubblicazione del volume Botanical Tables Containing the Families of British Plants nel 1785. Morì nella sua casa di South Audley Street, Grosvenor Square, Westminster, e venne sepolto a Rothesay sull'Isola di Bute. È uno di solo due primi ministri britannici d'essere sepolto su una isola britannica ad eccezione di Gran Bretagna; l'altro è Harold Wilson.
Le piante del genere Stuartia debbono a lui il loro nome. Secondo lo storico John Naish, l'espressione linguistica del XVIII secolo "Jack Boot" che indica una persona stupida venne originata dal disgusto che mostrò Stuart nella sua opera di primo ministro.[1]
Matrimonio
Il 27 agosto 1736 sposò Mary Wortley Montagu, figlia di Edward Wortley Montagu e Lady Mary Pierrepont (la figlia del I duca di Kingston-upon-Hull). Ebbero undici figli:
Lady Mary Stuart (1741 - 5 aprile 1824), sposò, il 7 settembre 1761, James Lowther, I conte di Lonsdale;
^ Naish, John, The Interwoven Lives of George Vancouver, Archibald Menzies, Joseph Whidbey and Peter Puget: The Vancouver Voyage of 1791–1795, The Edward Mellen Press, Ltd., 1996, ISBN0-7734-8857-X.