Născut într-o familie de origine belarusă, Oleg Iankovski a avut ambiția să calce pe urmele fratelui său, Rostislav, și s-a angajat la Teatrul Dramatic din Saratov în 1965. Începând din anul 1975, a fost actor al Teatrului Lenkom din Moscova.
Cariera sa de actor de film a început doi ani mai târziu, când a jucat în două filme despre cel de- Al Doilea Război Mondial. În cursul remarcabilei sale cariere de actor de film (el jucând în peste 70 de filme), Iankovski a jucat în mai multe filme cu scenarii adaptate după operele clasicilor ruși, în special Gingașa și tandra mea fiară (1978) regizat de Emil Loteanu și Sonata Kreutzer (1987), în piese de teatru adaptate pentru televiziune ca Un miracol obișnuit (1978) și Același Münchausen (1979).
El este cel mai bine cunoscut în străinătate pentru rolurile sale din filmele Nostalgia (1983) și Oglinda (1975) ale regizorului Andrei Tarkovski.
De-a lungul carierei sale, a primit mai multe premii: Premiul de Stat al URSS pentru rolul său din filmul Îndrăgostit din propria dorință (1984) al regizorului Roman Balayan, titlul de „Artist al poporului al Uniunii Sovietice” (1991) [2], Premiul Academiei Ruse a Artei Cinematografice “NIKA” pentru debut regizoral în filmul Uită-te la mine (2001) și pentru rolul său din filmul Amantul (2002) al regizorului Valeri Todorovski.