Ростропович е роден в семейството на музиканти. Още на 12-годишна възраст изнася първия си концерт със симфоничен оркестър. Завършва Московската консерватория през 1946 г., става там професор през 1959 г.
През 1974 г. Ростропович и Вишневская емигрират в Съединените американски щати. След 4 години правителството на СССР ги лишава от съветско гражданство.
По време на престоя си на Запад Ростропович се прочува с интерпретациите си на концертите за виолончело и оркестър на Дворжак и Хайдн. Дълги години ръководи Националния симфоничен оркестър на САЩ във Вашингтон и е президент на международния фестивал в Евиан. Получава множество престижни отличия, става посланик на добра воля на ЮНЕСКО, името му е записано сред тези на 40-те „безсмъртни“ – почетните членове на Френската академия. Британският вестник „Таймс“ го нарича „най-великия жив музикант“.
През 1989 г., когато пада Берлинската стена, Ростропович отива там и пред нейни отломки свири сюити на Йохан Себастиан Бах. Година по-късно се завръща триумфално в родината си, след като му връщат руското гражданство. През 1993 г. Ростропович дава концерт на Червения площад, посетен от десетки хиляди руснаци.
