Thomas va ser el segon fill de Charles Bruce, cinquè Comte d'Elgin i la seva dona Martha Whyte. Va rellevar al seu germà gran, William, el sisè comte, el 1771 quan només tenia cinc anys.[1]
L'any 1785 va ingressar a l'exèrcit on va arribar a ser general de divisió i el 1790 va iniciar la seva carrera diplomàtica sent nomenat primer ambaixador a Brussel·les i després a Berlín. Del 1799 al 1802 va ostentar el càrrec d'Enviat Extraordinari a Constantinoble, a l'Imperi Otomà,[1] i va obtenir un molt controvertit permís de les autoritats otomanes per treure de l'Acròpolis part de les escultures del Partenó d'Atenes, que van ser portades al seu país entre els anys 1803 i 1812,[1] i que actualment són al Museu Britànic de Londres. El govern grec ha demanat la devolució de les escultures a Grècia, fins ara sense èxit.[2][3]
També va fer traslladar a Londres, entre altres elements patrimonials, les columnes jòniques de l'entrada del Monestir de Dafni.