Son pare era mecànic empleat al palau de Sant Petersburg. Ippolítov-Ivànov va estudiar música a sa casa i va ser petit cantor de la catedral de Sant Issac, on també va rebre instrucció musical, abans d'entrar al Conservatori de Sant Petersburg el 1875. El 1882 va acabar els estudis com a alumne de composició de Rimski-Kórsakov, la influència del qual romandria ben forta durant tota la carrera d'Ippolítov-Ivànov.
La seva primera faena va ser dirigir l'acadèmia de música i l'orquestra de Tbilisi (Geòrgia), on va viure set anys. En aquest període va desenvolupar el seu interès per la música de la regió, un reflex del general interès que aleshores hi havia per la música de les minories no eslaves i per la dels veïns, com més exòtics millor, de Rússia. Aquest interès, hauria de rebre un impuls "oficial" després de la Revolució per raons polítiques.
Des del punt de vista polític, Ippolítov-Ivànov va aconseguir de mantenir una certa independència. Va ser president de l'Associació d'Escriptors i Compositors l'any 1922, però no va intervenir en les baralles entre els músics "proletaris" (compromesos en el desenvolupament d'un art netament popular) i els defensors de l'avantguarda artística. El seu propi estil ja estava format des dels anys 1880, quan va estudiar amb Rimski-Kórsakov, a qui va introduir en l'interès per la música folklòrica, particularment de Geòrgia, on va retornar l'any 1924 per tal d'esmerçar un any en la reorganització del Conservatori de Tbilisi.
La suite "Kavkazskiye Eskizi" (Esbossos Caucàsics), composta el 1894, és un destacat exemple del deute d'Ippolítov-Ivànov amb Rimski-Kórsakov, així com de la influència dels cants populars, en aquest cas dels de Geòrgia, en la seva obra; elements que ja havien aparegut a l'Obertura Primavera de 1982 i a les escenes bíbliques de la seva òpera Ruf (Rut).
