Находится в 25 км к югу от города Торжка, на автодороге «Сукромля—Высокое», которая проходит по главной улице села и на востоке переходит в главную улицу деревни Переслегино. В восточной части села исчезли почти все жилые дома, и обе церкви и бывший школьный участок примыкают к домам Переслегина, хотя относятся к Загорью. Улица проходит вдоль левого берега реки Рачайны, за рекой, напротив Загорья, деревни Ново-Александровка и Щемелинино.
В XVII веке в Новоторжском уезде была Загорская волость.
С конца XVIII века Загорьем и Переслегино владеют Полторацкие. В 1785 году М. Ф. Полторацкий обратился с прошением построить в селе Загорье, вместо ветхой деревянной, новую каменную церковь во имя Святых апостолов Петра и Павла. Считается, что автором проекта данного храма является выдающийся русский зодчий Николай Александрович Львов. Освящена новая церковь в 1802 году.
В 1859 году во владельческом селе Загорье 34 двора, 314 жителей[3].
В 1868 году здесь открыта первая в окру́ге земская школа. В этом же году рядом с Петропавловской церковью построена церковь Святого Благоверного Князя Александра Невского.
