Il exerce une influence sur un certain nombre d’arrondissements «pourris» ou «de poche», notamment Appleby, exemple classique de ce type de circonscription. En 1761, il est crédité d'avoir obtenu l'élection de huit députés - deux pour Cumberland, Westmorland et Cockermouth, et un pour Appleby et Carlisle[3].
Il épouse Mary Crichton-Stuart, fille de John Stuart (3e comte de Bute) et Mary Wortley-Montagu, 1re baronne de Mount Stuart le et a de nombreuses maîtresses. Il est tombé amoureux de la fille d'un de ses locataires et en fait sa maîtresse en la gardant dans le luxe. Quand elle est morte, il ne pouvait plus supporter de l'enterrer et le corps reste couché jusqu'à ce que la putréfaction croissante devienne insupportable. Il fait ensuite déposer son corps dans un cercueil surmonté d'un couvercle en verre qui est placé dans un placard. Finalement, son corps est enterré au cimetière de Paddington.
Le , il se bat en duel avec le capitaine Cuthbert des Gardes, qui refuse de laisser sa voiture passer par Mount Street à Londres, où des émeutes ont eu lieu. Le comte lui demande s'il sait qui il est, ce qui conduit à un échange de paroles désagréables à la suite duquel il se sent obligé de défier le capitaine en duel le lendemain matin. Une balle de pistolet traverse le manteau de la veste de Cuthbert mais, après l'échange de tirs, les deux hommes ne sont pas blessés. L'affaire est conclue par une poignée de main.
Il est surnommé "Wicked Jimmy", "Bad Earl", "Gloomy Earl" et "Jimmy"[4],[5] ou "Jemmy Grasp-all, Earl of Toadstool"[6],[7].
Il meurt en 1802 sans avoir d'enfants de sa femme. Son comté et son titre de baronnet disparaissent, mais son cousin William Lowther (1er comte de Lonsdale), lui succède en 1807 comme comte de Lonsdale de la deuxième création, en qualité de vicomte Lowther. Ce dernier, un magnat du charbon, hérite également du château de Lowther, qu'il reconstruit entre 1806 et 1814.
↑Beckett, JV. «Lowther, James, comte de Lonsdale (1736-1802).» Oxford Dictionary of National Biography. En ligne ed. Ed. Lawrence Goldman. Oxford: OUP, Consulté le 4 nov. 2014 (abonnement requis)
↑Catherine Caufield, The emperor of the United States of America and other magnificent British eccentrics, Routledge & Kegan Paul, , 223 p. (ISBN0-7100-0957-7), p. 122
↑(en) Richard Peter Treadwell Davenport-Hines, Gothic : four hundred years of excess, horror, evil, and ruin, Londres, Fourth Estate, , 438 p. (ISBN1-85702-498-2), p. 92