Застройка шведского Выборга, сформировавшаяся в XV веке, была хаотичной: вдоль извилистых средневековых улиц стояли бюргерские дома, главным образом деревянные. В 1640 году шведским инженером А. Торстенсоном с помощью землемера А. Стренга был составлен первый регулярный план Выборга, согласно которому город разделялся на кварталы правильной геометрической формы прямыми улицами, ширина которых, в основном, была равна 8,5 метров. Так на территории Каменного города сформировалась улица, ныне называющаяся Подгорной. Спрямлённая и значительно продолженная улица прошла по прежней дороге от городской стены у Северной гавани к городскому собору[1], оказавшемуся расположенным под углом к ней. В связи с тем, что план Торстенсона не учитывал городской рельеф, характерной особенностью улицы стал крутой подъём.
Улица стала застраиваться каменными домами, в одним из которых с 1647 года жил выборгский епископ (современный адрес — д. 9, перестроен), отчего первоначальное название улицы — Епископская[2] (швед.Boskaps gatan, швед.Biskops gatan).
План Каменного города, составленный Торстенсоном и Стренгом (1640-е годы). Улица подведена к собору, перерезая его каменную ограду
План Выборга с предместьями 1802 года из «Атласа Финляндской губернии с уездами и городами и планами всем публичным строениям 1803 года». На плане обозначен Пятый переулок
Шведоязычный план Выборга 1839 года. На плане обозначена Boskaps gatan
В конце XIX века фасады нескольких зданий получили пышное оформление с использованием элементов разных архитектурных стилей Европы с заметным влиянием романтических традиций неоренессансной архитектуры (дом епископа, здание гостиницы, дом консула Роте). При этом улица была разделена надвое по Екатерининской улице: за северным участком закрепилось название Епископской улицы (швед.Biskopsgatan), а за южным — Церковной (швед.Kyrkogatan). А после введения в 1860-х годах в официальное делопроизводство Великого княжества финского языка получили распространение финноязычные карты Выборга, на которых улицы именовалась фин.Piispankatu и фин.Kirkkokatu соответственно. С провозглашением независимости Финляндии официальными стали финские названия. С 1929 года обе улицы были снова объединены под названием фин.Piispankatu[3].