При начале первой турецкой войны Брюс находился в армии князя Голицына, командовал частями войск первой линии и участвовал в сражениях под Хотином в 1769 г., в особенности 29 августа и 6 сентября, где Брюс с трудом удерживал натиски турок. После того как Голицын был отозван и на его место назначен граф П. А. Румянцев, Брюс получил в командование 3-ю дивизию и принимал участие в сражении при Ларге, находясь на левом фланге главного каре. В последовавшей затем битве при Кагуле21 июня1770 Брюс был направлен для атаки в тыл правого фланга турецкого ретраншемента. При этом турки окружили со всех сторон каре Брюса и Репнина, храбро и стойко державшихся, пока действиями Румянцева турки не потерпели полного поражения.
Получив после битвы при Кагуле приказание Румянцева двинуться с отрядом к Фальчи, чтобы спешить к штурму Бендер, сообразуя своё движение с отрядом генерала Глебова, Брюс дошёл 1 сентября до Фальчи и остановился ввиду сильного разлития Прута от дождей, причём снесены были мосты. Румянцев приказал ему двинуться немедленно далее. Хотя Брюс это и исполнил и дошёл до Текуча, но, не имея должного сношения с отрядом Глебова, дал туркам возможность отступить к Фокшанам и, опасаясь один встретиться со значительными силами турок, не решился идти далее; этими действиями Брюс навлёк на себя гнев Румянцева.
Брюс обиделся, сказался больным, сдал команду Глебову и скоро отправился в Киев, а затем в Петербург, где был пожалован в генерал-адъютанты в том же 1770 г. В связи с тем, что в 1771 г. в Москве началась эпидемия чумы, ему поручено было принять меры профилактики в Петербурге. Брюс принялся за дело энергично, учредил карантины между двумя столицами, строго следил за приезжающими, запретил всякий вывоз товаров из пунктов, заражённых чумой, приказал осматривать и окуривать все привозимые товары и т. д.; благодаря таким мерам чума в Петербург не проникла.
После почти одновременной кончины генерал-губернаторов в обеих столицах (князя Александра Голицына в Петербурге и графа Захара Чернышёва в Москве), Брюс был назначен на их место генерал-губернатором обеих столиц и главнокомандующим войсками в Москве.
В 1786 году созданы первые органы городского самоуправления: Городское собрание и Городская дума. В период губернаторства Брюса завершено строительство Старого Эрмитажа, Таврического дворца, Академии художеств, Главного почтамта. Освящен Троицкий собор Александро-Невской лавры. Одеты гранитом набережные Фонтанки, Екатерининского канала и Английская набережная на Неве. Построены Старо-Калинкин, Чернышёв, Симеоновский и Обуховский мосты через Фонтанку. 22 сентября 1784 года получил орден Владимира I степени.
Брюса в Москве не любили за его суровость, да и сам он был недоволен пребыванием в городе, где «застарелые обычаи и тьма предубеждений», и благодарил Безбородко в 1786 г. за исходатайствованное у императрицы разрешение ему приехать в Петербург. С московского поста Екатерина II, по его просьбе, уволила Брюса 26 июня1786, и он остался только генерал-губернатором в Петербурге. Во время путешествия своего в Крым в 1787 г. Екатерина посылала Брюсу журнал этого путешествия, чтобы «отвратить в столице пустые речи».
Немного позже, при войне с Турцией, Брюс был назначен членом особого совета по планированию предстоящей войны; затем, при возникшей внезапно войне с Швецией, Брюс был назначен главнокомандующим в столице и Петербургской губернии, однако должен был производить дела под собственным ведением Её Величества.
Умер в Петербурге от горячки, похоронен в Благовещенской церкви Александро-Невской Лавры. Церемония похорон описана в мемуарной литературе[6].
Наследница
Так как Я. А. Брюс не имел сыновей от брака с Прасковьей Александровной (сестрой фельдмаршала П. А. Румянцева), с его смертью род графов Брюсов в России пресёкся. Единственная дочь его, Екатерина (1776—1829), была замужем за графом Василием Валентиновичем Мусиным-Пушкиным, которому император Павел I разрешил принять фамилию графа Мусина-Пушкина-Брюса, но и он умер в 1836 г., не оставив сыновей. Воспитанник графа Брюса, Иван Инзов, вырос в семье Трубецких.