В 1850-х годах пел отроком в Покровском соборе в Наровчате. Этот собор также известен тем, что в 1870 году в нём был крещён земляк Архангельского — писатель А. И. Куприн, также родившийся в Наровчатском уезде. Здание собора сохранилось до наших дней и обладает статусом объекта культурного наследия.
Учился в Краснослободском духовном училище, затем в Пензенской духовной семинарии, где с 1862 года руководил архиерейским хором.
Был регентом в Пензе, затем в Петербурге. С 1872 года состоял в Петербургской певческой капелле. Преподавал пение в Александровском лицее[1]. Организовал в 1880 в Петербурге смешанный хор, обладавший обширным репертуаром (обработки народных песен, хоровая классика, сочинения современных композиторов) и высокой музыкальной культурой[2]. В практике церковного пения Архангельский сделал нововведения, заменив в церковных хорах детские голоса мальчиков на женские голоса. В области русской духовной музыки Архангельский возбудил интерес в обществе и музыкальном мире к русской песне, он переложил для хора много песен.
Написал две оригинальные литургии, всенощную и до 80 миниатюр, в том числе 11 Херувимских песен, 10 гимнов «Милость мира», 16 песнопений, употребляемых при богослужении вместо «причастных стихов»[3][4]. Среди ярких произведений стоит отметить его духовный концерт «Помышляю день страшный», отличающийся высоким драматизмом.
В 1908 году был председательствующим на первом съезде дирижёров в Москве.
В октябре 1921 г. в Петрограде отпраздновал 50-летие своей музыкальной деятельности, ему было присвоено звание Заслуженного артиста Республики[5].
Последние два года своей жизни прожил в Праге, где работал со студенческим хором.
Скончался 16 ноября 1924 года в доме в районе Винограды в Праге. На этом здании впоследствии была открыта мраморная мемориальная доска на чешском и русском языках.
Горельеф на здании Центра русской хоровой и вокальной культуры в Пензе
В 2002 году имя Архангельского было присвоено Пензенскому музыкальному училищу[7], после его реорганизации в колледж искусств обновлённый колледж имени не сохранил. В 2021 году колледж вновь вернул себе название училища имени Архангельского.
В 2003 году на здании Центра русской хоровой и вокальной культуры в Пензе была открыта мемориальная доска-горельеф Архангельскому (скульптор — Александр Хачатурян).
В 2019 году в Наровчате открыт музей Александра Архангельского.
