Andrej Markov era figlio di Andrej Grigorevič Markov, segretario dell'ufficio forestale di Rjazan', e della sua prima moglie, Nadežda Petrovna Markova.
All'inizio degli anni 1860 Andrej Grigorevič si trasferì a San Pietroburgo come amministratore finanziario della principessa Ekaterina Aleksandrovna Valvat'eva.
Nei primi anni della sua vita Andrej Andreevič fu cagionevole di salute e il suo curriculum scolastico iniziò solo nel 1866, quando fu allievo della quinta classe del ginnasio di San Pietroburgo. Già in questo periodo Andrej manifestò un grande interesse per la matematica.
A 17 anni, ancora semplice studente di ginnasio, egli scrisse il suo primo articolo di matematica sopra un metodo di risoluzione per equazioni differenziali che comunicò a Bunjakovskij, a Korkin e a Zolotarëv. L'articolo non riportava risultati nuovi, ma fu apprezzato e Andrej Markov fu invitato a frequentare i "sabati di Korkin", riunioni in cui si incontravano regolarmente gli studenti di Korkin.
Nel 1877 fu premiato con una medaglia d'oro per la risoluzione del problema dell'integrazione di equazioni differenziali mediante frazioni continue, con l'applicazione all'equazione: .
Fece parte della scuola matematica di Pietroburgo fondata da Čebyšëv e ne divenne poi con Aleksandr Ljapunov il principale allievo nell'ambito degli studi di probabilità.
Per diventare professore universitario continuò i suoi studi presso l'università nei due anni successivi e nell'aprile 1880 discusse la sua tesi di laurea dal titolo Forme quadratiche binarie con determinante positivo, incoraggiato da Aleksandr Korkin e da Egor Zolotarëv. Questa dissertazione è ritenuta uno dei migliori risultati della scuola di San Pietroburgo.
Iniziò la professione accademica subito dopo la laurea nell'autunno 1880, come docente di calcolo differenziale ed integrale. Successivamente tenne corsi di introduzione all'analisi, teoria delle probabilità, (succedendo a Čebyšëv, che aveva lasciato l'università nel 1882) e calcolo differenziale.
Dal 1895 fino al 1905 fu ancora lettore di calcolo differenziale.
Nel gennaio 1885, completò anche la tesi di dottorato dal titolo Applicazioni di frazioni continue algebriche. Un anno dopo fu nominato professore straordinario (1886) e durante lo stesso anno fu eletto membro aggiunto dell'Accademia delle Scienze di San Pietroburgo.
Nel 1890, dopo la morte di Viktor Bunjakovskij, Markov diventò membro straordinario dell'Accademia. La sua promozione a professore ordinario dell'Università di San Pietroburgo seguì nell'autunno del 1894.
Nel 1896 fu eletto membro ordinario dell'Accademia come successore di Čebyšëv.
Infine nel 1905 fu nominato professore emerito ed ottenne la pensione; continuò tuttavia a lavorare in università tenendo corsi di calcolo differenziale.
Durante i tumulti studenteschi del 1908, fu ordinato ai professori ed ai lettori dell'università di San Pietroburgo di controllare i loro allievi. Markov non accettò questo decreto e scrisse come spiegazione del suo rifiuto di non voler essere “un agente del governo". Per questo non gli fu più concesso di effettuare ulteriori attività di insegnamento nell'ateneo di San Pietroburgo e nel 1910 decise di lasciare l'istituto.
Nel 1913 il consiglio di San Pietroburgo elesse nove scienziati come membri onorari dell'università. Markov era fra di essi, ma la sua elezione non fu confermata dal ministro dell'istruzione. La nomina fu sospesa per quattro anni, e fu confermata solo dopo la Rivoluzione di febbraio del 1917.
Markov riprese allora le sue attività di insegnamento ed i corsi di teoria delle probabilità e di calcolo differenziale fino alla morte, nel 1922.
(EN) A.A. Markov. "Extension of the limit theorems of probability theory to a sum of variables connected in a chain". reprinted in Appendix B of: R. Howard. Dynamic Probabilistic Systems, volume 1: Markov Chains. John Wiley and Sons, 1971.