Побудована у 1822 році на кошти віце-адмірала Філіпа Биченського — одна з найстаріших будівель Севастополя. В архітектурному відношенні — хрестово-купольний храм в класичному стилі з інкерманського (кримбальського) каменю.
Під час оборони Севастополя 1854—1855 років у храмі розташовувалася стайня турецьких і французьких солдатів. Відновлена була церква в 1859 році купцем Іваном Пікіним, освячення здійснив 5 жовтня того ж року протоієрей Арсеній Лебединцев. Під час німецько-радянської війни будівля церкви не постраждала.
Це єдиний храм Севастополя, що не закривався в радянський період. В даний час церква Всіх Святих є чинною, в ній відбуваються регулярні богослужіння, настоятель Олег Халюта.