Savrassov est le fils d'un marchand de la Troisième Guilde de Moscou et il est dispose dès sa prime jeunesse de dons pour le dessin. Il entre à quatorze ans à l'École de peinture, de sculpture et d'architecture de Moscou, contrairement aux souhaits de son père qui le destinait à une carrière commerciale. Il en sort diplômé en 1854. Il passe l'été 1854 à peindre le golfe de la Baltique, près de Saint-Pétersbourg, et présente ensuite deux toiles à l'Académie impériale des beaux-artsVue des environs d'Oranienbaum et Rivage marin près d'Oranienbaum qui le font admettre au sein de l'Académie.
Il se marie en 1857 avec Sophie Hertz, fille de l'historien d'art Karl Hertz, et va passer sa vie à Moscou. Il expose avec les Ambulants de 1871 à 1875 et à l'Académie de 1873 à 1878. Ses toiles sont aussi exposées à l'étranger, comme à Vienne en 1873 et à Paris en 1878. Elles participent aussi à l'exposition nationale de 1882 à Moscou.
Son œuvre devient de plus en plus sombre à la fin des années 1870, car l'artiste est malade et alcoolique. Il tombe dans la misère à la fin de sa vie et meurt dans un hospice de pauvres à Moscou. Il est enterré au cimetière Vagankovo.