27 czerwca 1881 został nominowany na biskupa michajłowskiego, wikariusza eparchii riazańskiej, zaś 23 sierpnia przyjął chirotonię biskupią. Następnie w latach 1882–1887 był biskupem akermańskim, wikariuszem eparchii kiszyniowskiej, a w latach 1887–1888 – biskupem aksajskim, wikariuszem eparchii dońskiej. W 1888 otrzymał godność biskupa kostromskiego. Na urzędzie tym pozostawał przez trzy lata. W 1891 został biskupem jekaterynosławskim i pozostał nim do śmierci w roku następnym. Został pochowany w soborze Przemienienia Pańskiego w Jekaterynosławiu[1].
W 1876 wydał podręcznik teologii zasadniczej. Interesował się również kwestią języka liturgicznego. Był zwolennikiem uproszczenia gramatyki używanego w liturgii języka cerkiewnosłowiańskiego, usunięcia kalek językowych z greki, zastąpienia najbardziej archaicznych słów cerkiewnosłowiańskich synonimami, które funkcjonują również w języku rosyjskim, rezygnacji z liczby podwójnej. Jego koncepcje reformy języka cerkiewnosłowiańskiego miały pewien wpływ na pracę komisji ds. poprawy ksiąg liturgicznych, która działała przy Świątobliwym Synodzie Rządzącym od 1907 do 1917. Augustyn (Gulanicki) sam dokonał przekładu kanonów dwunastu wielkich świąt prawosławnych oraz kanonu św. Andrzeja z Krety na język cerkiewnosłowiański „zmodernizowany” według jego koncepcji[1].