Харківський інститут народної освіти (ХІНО) було створено підчас кампанії реорганізації університетів, започаткованої на початку 1920-х років згідно інструкції Наркомосвіти УСРР «Про практичну роботу з освіти». За наказом наркомосу УСРР від 2 червня 1920 p. на базі історико-філологічного і фізико-математичного факультетів Харківського університету були утворені Тимчасові вищі педагогічні курси, які проіснували лише близько місяця. У липні їх було реорганізовано у Академію теоретичних знань, на основі якої у травні 1921 р. було створено ХІНО.
У 1928—1929 учбовому році до факультету соціального виховання ХІНО приєднали на правах відділення Педагогічний технікум ім. Г. С. Сковороди. У 1930 р. після реорганізації ХІНО на базі факультету соціального виховання виник самостійний Інститут соціального виховання, який пізніше став називатися Педагогічний інститут.
У 1930 році в ХІНО навчалося понад 9000 студентів.
На базі факультету професійної освіти ХІНО були створені Харківський педагогічний інститут професійної освіти та Харківський фізико-хіміко-математичний інституту. У 1933 р. ці два виші були об'єднані в Харківський державний університет.
В інститутах народної освіти були створені самостійні наукові структури — науково-дослідні кафедри. На відміну від інших інститутів народної освіти, Харківський ІНО мав кількість науково-дослідних кафедр, відповідною групам дисциплін, які викладалися у вузі. У 1924/25 навчальному році при ХІНО існувало 16 науково-дослідних кафедр, в той час як при Київському ІНО — 6, при Одеському — 4, Катеринославському — 2, Кам'янець-Подільському та Ніжинському — по одній, а решта інститутів народної освіти їх взагалі не мала. Науково-дослідні кафедри очолювали відомі вчені. Так, науково-дослідну кафедру фізики очолював Д. А. Рожанський, науково-дослідну кафедру історії України — Д. І. Багалій.
У 1929 р. при ХІНО на базі науково-дослідних кафедр прикладної математики і геометрії було створено Науково-дослідний інститут математики на чолі з академіком С. Н. Бернштейном. Відповідно до постанови Раднаркому УСРР від 1 серпня 1930 р. «Про ліквідацію деяких науково-дослідних установ НКО та нову мережу цих установ» при ХІНО була ліквідована решта науково-дослідних закладів. З відродженням університету чимало наукових установ увійшло до його складу (Інститут теоретичної хімії, філія Українського зоолого-біологічного інституту, філія Українського геологічного інституту, філія Українського ботанічного інституту з садом при ньому, Український інститут математики й механіки, Інститут географії та картографії, Харківська астрономічна обсерваторія та Донецька гідробіологічна станція).
Від грудня 1924 р. до січня 1930 р. ректором ХІНО був М. С. Гаврилів.
