Rostropowicz pochodził z rodziny o korzeniach rosyjskich, polskich, litewskich i niemieckich; jego ojciec, Leopold, był Polakiem. W Skotnikach pod Sochaczewem znajduje się pałac rodziny Rostropowiczów (będąc w Polsce przed laty artysta odwiedził to miejsce), a na cmentarzu w Mikołajewie rodzinne mauzoleum.
Syn i wnuk muzyków, już jako 14-latek grał i udzielał lekcji muzyki. W wieku 34 lat został profesorem Konserwatorium w Moskwie i Leningradzie oraz laureatem międzynarodowych konkursów. Uważano go za jednego z najwybitniejszych rosyjskich wirtuozów wiolonczeli. Prowadził też orkiestry operowe i symfoniczne. Po raz pierwszy jako dyrygent wystąpił w 1968 roku w Teatrze Wielkim w Moskwie. Dyrygował potem także przedstawieniami operowymi w Paryżu i San Francisco. Specjalnie dla niego utwory na wiolonczele pisało wielu wybitnych kompozytorw XX wieku, m.in. Witold Lutosławski, Andrzej Panufnik, Krzysztof Penderecki, Dymitr Szostakowicz, Sergiusz Prokofiew.

Obrońca praw człowieka
Rostropowicz od początku swego dorosłego życia nie wahał się stawać w obronie wolności słowa i sztuki. W 1948 roku porzucił konserwatorium w proteście przeciwko szykanowaniu jego nauczyciela Dymitra Szostakowicza. W 1970 r. poparł znanego dysydenta, pisarza Aleksandra Sołżenicyna. Wraz z żoną, śpiewaczką teatru Bolszoj Galiną Wiszniewską, gościł go przez prawie cztery lata na swej podmoskiewskiej daczy. Tam Sołżenicyn pisał swoje utwory i tam też dowiedział się o przyznaniu mu Nagrody Nobla. Władze najpierw odebrały Rostropowiczowi paszport i zmusiły do koncertowania wraz z żoną na Syberii, a następnie w 1974 roku zmusiły do wyjazdu z kraju. Wybitny muzyk wyjechał wówczas do USA, ale i na emigracji nadal działał na rzecz praw człowieka w ZSRR. Gdy w 1977 roku został dyrektorem i głównym dyrygentem Narodowej Orkiestry Symfonicznej USA, ZSRR pozbawił go wraz z całą rodziną obywatelstwa. Zwrócono mu je, wraz z nagrodami państwowymi dopiero w 1990 roku, w przeddzień występów waszyngtońskiej orkiestry w Rosji, a rok później prezydent ZSRR Michaił Gorbaczow cofnął mu zakaz wjazdu do kraju. Rostropowicz założył wówczas wraz z żoną fundację na rzecz rozwoju opieki zdrowotnej dla dzieci.
W dniu swoich 80. urodzin został uhonorowany najwyższym odznaczeniem państwowym w Rosji - Orderem za Zasługi dla Ojczyzny I klasy. Otrzymał je z rąk Putina na Kremlu w obecności ponad 500 gości z całego świata.
Mieszkający w ostatnich latach życia w Paryżu Rostropowicz chorował na raka jelita grubego. W listopadzie 2006 roku musiał za poradą lekarzy odwołać tournee po Stanach Zjednoczonych. W ostatnich miesiącach życia przeszedł dwie operacje. Kiedy stan jego zdrowia uległ znacznemu pogorszeniu na początku 2007 roku, 6 lutego przewieziono go z paryskiej kliniki do Moskwy. Kiedy zmarł, żegnały go tłumy Rosjan.

Ukończył Konserwatorium Moskiewskie