W 1976 r. ukończył kurs w szkole KGB w Mińsku. Po krótkim okresie pracy w lokalnych strukturach KGB w Leningradzie (gdzie rozpoczęła się jego współpraca z Władimirem Putinem) został przesunięty do I Zarządu Głównego, zajmującego się wywiadem zagranicznym. W 1981 r. ukończył kurs w 101. Szkole I Zarządu Głównego (obecnie Akademia Służby Wywiadu Zagranicznego Federacji Rosyjskiej). Według niepotwierdzonych informacji miał on pracować jako rezydent wywiadu w radzieckich placówkach dyplomatycznych m.in. w Kenii, Finlandii i Szwecji. Miał być także II Sekretarzem Ambasady ZSRR w Londynie, wydalonym z terytorium Wielkiej Brytanii pod zarzutem szpiegostwa. Ani Iwanow, ani brytyjskie Ministerstwo Spraw Zagranicznych nie potwierdzają jednak tej informacji. Po reorganizacji służb specjalnych na początku lat 90. znalazł się w kierownictwie Służby Wywiadu Zagranicznego utworzonej na bazie dawnego I Zarządu Głównego KGB. W SWR doszedł do stanowiska zastępcy naczelnika jednego z zarządów. W lipcu 1998 r. Władimir Putin - nowo mianowany szef Federalnej Służby Bezpieczeństwa - zaproponował mu stanowisko swojego zastępcy. Iwanow objął jednocześnie funkcję szefa Departamentu Analiz, Prognoz i Planowania Strategicznego FSB. Od listopada 1999 r. pełnił funkcję sekretarza Rady Bezpieczeństwa Federacji Rosyjskiej. Ze służby w FSB odszedł w stopniu generała-pułkownika.

W marcu 2001 r. prezydent Putin powołał go na stanowisko ministra obrony. Był pierwszym w historii ZSRR i Rosji cywilnym szefem tego resortu, jednocześnie pierwszym wywodzącym się z cywilnych służb specjalnych. Od listopada 2005 r. pełnił także funkcję wiceprzewodniczącego Rządu Federacji Rosyjskiej, odpowiedzialnego za bezpieczeństwo. Jako szef resortu obrony był współodpowiedzialny za prowadzoną przez władze rosyjskie politykę wobec Czeczenii. 15 lutego 2007 r. został odwołany przez prezydenta Putina ze stanowiska ministra obrony i jednocześnie powołany na pierwszego wicepremiera rządu rosyjskiego.

Iwanow uważany jest za jednego z najbardziej wpływowych polityków w najbliższym otoczeniu prezydenta Putina. Wymieniany był wśród najpoważniejszych kandydatów do objęcia funkcji głowy państwa po zakończeniu drugiej i ostatniej kadencji prezydenckiej Putina w 2008 r.

Ukończył filologię angielską na Wydziale Filologicznym Uniwersytetu Państwowego w Leningradzie