Рухулла Ахундов народився у сім'ї вчителя у Бакинській губернії. Закінчив медресе, реальне училище, торгову школу, володів кількома східними й західними мовами. З 1916 року Ахундов працював у друкарні. 1917 — член групи азербайджанських «лівих» есерів. У 1918 році стає редактором газети «Известия» Бакинської ради, а у 1919 — азербайджанської нелегальної більшовицької газети «Комуніст». Того ж року вступає до ВКП(б). Після захоплення влади в Азербайджані більшовиками він стає завідувачем відділу з роботи у селах ЦК КП (б) Азербайджанської РСР, потім секретарем Бакинського комітету партії, редактором газети «Комуніст» та інших періодичних видань. У період з 1924 до 1930 року Ахундов був секретарем ЦК КП (б) Азербайджанської РСР, директором Азернешару (державне книжкове видавництво), наркомом просвіти Азербайджанської РСР.
У 1930 році Рухулла Ахундов був обраний секретарем Закавказького крайового комітету ВКП(б). Делегат 10—17-го з'їздів партії, 2-го конгресу Комінтерну. Останні роки життя він працював в Інституті історії партії при ЦК КП(б) Азербайджану, начальником управління у справах мистецтв при РНК Азербайджанської РСР, брав участь в організації й керівництві Азербайджанської філії Академії наук СРСР. Один з перших перекладачів на азербайджанську мову творів Карла Маркса, Фрідріха Енгельса та Леніна. Автор низки праць з історії, мистецтва, літератури, редактор двотомного російсько-азербайджанського словника (1928—29).
У 1938 році Ахундова було знято з усіх посад, виключено з партії та заарештовано. Воєнною колегією Верховного суду засуджений до смертної кари. Розстріляний та похований на секретному полігоні НКВС «Комунарка — Лоза» 21 квітня 1938 року[1]. Посмертно реабілітований та відновлений у партії 1959 року.
Критикувався Володимиром Маяковським у вірші «Помпадур», в епіграфі якого поет наводить цитату з газети «Правда», № 111/3943:
Член ЦИКа тов. Рухула Алы Оглы Ахундов ударил по лицу пассажира в вагоне-ресторане поезда Москва — Харьков за то, что пассажир отказался закрыть занавеску у окна. При составлении дознания тов. Ахундов выложил свой циковский билет.
