Seu local de nascimento é incerto, porém acredita-se que foi próximo a Stavropol, na Rússia meridional nasceu filho de Vladimir Andropov um funcionário Russo de ferrovia e Eugene Karlovna Fleckenstein uma judia assimilada. Estudou por curto período no Instituto Técnico para o Transporte Aquático de Rybinsk, antes de se juntar ao Komsomol em 1930. Ele concluiu a graduação em 1939 foi o primeiro secretário do Komsomol na república da Carélia Finlandesa, entre 1940 e 1944. Após a guerra, mudou-se para Moscou em 1951 e entrou para secretaria do partido.
Andropov voltou a Moscou para chefiar o Departamento para Relações com Países socialistas (1957-1967) e foi promovido para o secretariado do Comitê Central do PC Soviético em 1962, sucedendo a Mikhail Suslov. Em 1967 foi indicado para chefe da KGB. Em 1973 se tornou membro pleno do Politburo, apesar de não ter renunciado à chefia da KGB até 1982.
Envolveu-se em rumores e acusações com a morte suspeita do então líder Leonid Brejnev, em 10 de novembro de 1982. Brejnev teria morrido de uma overdose, motivada por sua enfermeira, que era uma associada do KGB, chefiado por Andropov. Quando a enfermeira foi inocentada e o caso abafado, passou-se a questionar a culpa de Andropov na morte de seu antecessor.[2] Dias depois, foi indicado, como previsto, para a liderança do Partido Comunista, vencendo Konstantin Chernenko, líder parlamentar de longa data. Foi o primeiro chefe da KGB a ser indicado. Herdou ainda, de Brejnev, a presidência e conselho de Defesa do país.
Durante seu mandato ele fez tentativas de melhorar a economia e de reduzir a corrupção. Também é lembrado por sua campanha contra o alcoolismo e esforços para melhorar a disciplina no trabalho. As duas campanhas foram conduzidas com uma visão administrativa tipicamente soviética, e lembraram vagamente reminiscências do stalinismo.
Fez pouca coisa em termos de política externa — a guerra iniciada após a invasão do Afeganistão continuou. Seu governo também foi marcado pela deterioração das relações com os EUA por causa das atitudes fortemente anti-soviéticas de Ronald Reagan, exacerbadas pela derrubada por caças soviéticos de um avião civil sul-coreano que invadiu o espaço aéreo russo em 1 de setembro de 1983 e pela ampliação dos mísseis Pershing na Europa.
Morreu de falênciarenal em 9 de fevereiro de 1984 após vários meses com problemas de saúde, e foi sucedido por Konstantin Chernenko.
O legado de Andropov ainda é tema de muito debate, tanto na Rússia quanto em outros locais, e tanto entre acadêmicos como nos meios de comunicação. Ele permanece no foco de vários documentários televisivos e em livros de não-ficção, particularmente em datas importantes.
Apesar de sua linha-dura na Hungria e de numerosos banimentos e intrigas pelas quais foi responsável durante sua longa permanência na chefia da KGB, ele se tornou muito lembrado por vários comentaristas como um reformador. Eles apontam como evidências o fato de ele haver promovido Mikhail Gorbachev nos escalões do PC soviético, e ter sido considerado um chefe da KGB particularmente tolerante. Ele é também lembrado como menos inclinado a reformas rápidas do que foi Gorbachev; o ponto central das especulações é se Andropov teria conseguido ou não reformar a URSS de maneira tal que tivesse evitado seu colapso.