Вперше кладовище згадане в 1738 році, хоча існують свідчення, що поховання на цьому місці існували і раніше. Указом Сенату від 11 травня1756 року для Смоленського православного цвинтаря було визначено місце в сторону від Галерної гавані (між 18-й і 23-й лініями Василівського острова), по сусідству з лютеранським кладовищем, що було засноване в 1747 році.
Про походження кладовища сперечаються і сьогодні. Вважається, що воно пов'язане з тим, що тут спочатку оселилася артільробітників, які прийшли на будівництво Санкт-Петербурга. Нестерпні умови праці та суворий північний клімат звели багатьох з них в могилу. Померлих ховали на березі Чорної річки, нинішньої Смоленки. Але, швидше за все, назва кладовища, як, втім, і річки, закріпилося після завершення будівництва храму в ім'я Смоленської ікони Божої Матері.
Перша, дерев'яна церква Смоленської ікони Божої матері була побудована в 1760 році (не збереглася). Та що дійшла до наших днів однойменна кам'яна церква була побудована на її місці за проєктом архітектора А. А. Іванова в 1786–1790 роках. Ще починаючи з XVIII століття, на цвинтарі ховали не тільки простий люд, а й видатних діячів російської науки і мистецтва. За історичною традицією Смоленське православне кладовище — місце поховання вчених Академії Наук, Петербурзького університету, гірничого інституту, службовців Морського і Сухопутний кадетських корпусів і діячів мистецтва, головним чином Академії Мистецтв, Александрінського і Маріїнськоготеатрів. У дореволюційній Росії Смоленське кладовище було одним з найбільших — до початку XX століття кількість похованих тут досягла 700—800 тисяч осіб.
Смоленське кладовище завжди славилася благодійною діяльністю. У 19 столітті при цвинтарі діяла богадільня для вдів і сиріт духовенства, вдовий будинок, будинок працьовитості, церковно-парафіяльна школа, єпархіальний притулок для дітей воїнів, загиблих в японську війну.
Вважається, що саме на Смоленському кладовищі була похована няня О. С. Пушкіна Аріна Родіонівна Яковлєва. Хоча точно встановити, де знаходиться її могила, не вдалося, поряд з воротами висить меморіальна дошка, яка свідчить про даний факт.
У 1938 році кладовище було закрите для поховань. Тим не менш, у роки радянсько-німецької війни на Смоленському православному цвинтарі в братських могилах були поховані ленінградці — жертви блокади; на правому березі річки Смоленки — великі поховання загиблих професорів і працівників Академії Мистецтв, робітників заводів «Севкабель», імені М. І. Калініна та інші.
У 1980-х роках проведені роботи з благоустрою та реконструкції території, на порожніх ділянках відновлені поховання. В останні роки тут поховані директор Ермітажу академік Б. Б. Піотровський, поет В. Б. Кривулін, художник Т. П. Новіков та інші.
У 1861 році на православному Смоленському кладовищі був похований Т. Г. Шевченко, прах якого в тому ж році перевезли в Україну. Поблизу Смоленської церкви було встановлено пам'ятний камінь.