Han praktiserade som arkitekt hos professor Isak Gustaf Clason från sommaren 1890 till våren 1892 samt 1893–1895, men startade därefter egen blev verksamhet. Från 1898 var arkitekt i Överintendentsämbetet.[2] Mellan 1902 och 1911 arbetade han tillsammans med Victor Bodin, och de båda ritade 26[3] byggnader i Stockholm. Almquist ritade ett flertal nya kyrkobyggnader och var även ansvarig vid många kyrkorestaureringar. Från 1918 tjänstgjorde han som arkitekt utom stat vid Byggnadsstyrelsen. Almquist var även verksam som etsare och tecknare.
Almquist kyrkobyggnader är präglade av den nationalromantisk traditionen, där de "äkta materialen" som tegel och natursten och lokala byggnadssätten lyftes fram. Fasaderna gavs ofta ett slutet utförande, med robusta portar och småspröjsade fönster. Hans kyrkobyggnader karaktäriseras av en höjdsträvan med branta takfall, höga torn och smäckra
spiror, ofta med en lökformad ansvällning som återkommande motiv.[4]
^Hall, Thomas, red (1981). Stenstadens arkitekter: sju studier över arkitekternas verksamhet och betydelse vid utbyggnaden av Stockholms innerstad 1850-1930. Stockholm: Akademilitteratur. sid. 5. Libris7640977. ISBN 91-7410-140-4 (Uppgifterna kommer från Malmarnas byggnadsregister och täcker projekterade byggnader på Stockholm malmar 1860-1930, vilka inte rivits före 1965. Källan är dock behäftad med flera felaktigheter.