Анатолиј је рођен у ливонијској племићкој породици у Новгороду. По завршетку гимназије 1914. године, служио је у Првом светском рату на Источном фронту.
Маријенгоф је књижевну каријеру започео 1918. године, када је учествовао у Манифесту Имажинизма, објављеног у Вороњежу. Манифест је потписао Сергеј Јесењин, а и многи други московски песници. Они су заједно започели нови поетски ток под називом имажинизам. Маријенгоф је учествовао у свим имажинистичким акцијама и публикацијама. Он је сам објавио велики број књига поезије у периоду између 1920. и 1928. године. Постао је близак пријатељ са Јесењином са којим је делио и стан неколико месеци. Јесењин је посветио неколико својих радова Маријенгофу, укључујући велику поему Сорокуст, драму Пугачов и трактат о поезији Маријини кључеви.
Маријенгоф је даље стекао славу својим контроверзним романима Роман без лажи (1926) и Циници (1928). Први представља његова фиктивна (мада у великој мери тачна) сећања на пријатељство са Јесењином, док је други прича о животу младих интелектуалаца током револуције и комунистичког рата. Оба романа наишла су на оштру критику совјетске штампе. Роман Циници је прво објављен у Берлину, а светлост дана у Совјетском Савезу угледао је тек 1988. године.
Након објављивања свог последњег романа, Обријани човек, 1930. године у Берлину, и делова историјског романа Екатерина (1936), Маријенгоф је био ограничен да пише само за позориште и радио, без икакве наде да ће објављивати поново. Јесењинова дела била су дуго времена прерађивана у СССР да би се изоставиле посвете Маријенгофу.
У својим каснијим годинама, после Стаљинове смрти, Маријенгоф је углавном писао мемоаре; они су објављени неколико деценија након његове смрти 1962. године.
