Iwanow jest synem Rosjanina i Gruzinki. W 1973 rozpoczął pracę radzieckim Ministerstwie Spraw Zagranicznych i wyjechał do Hiszpanii jako dyplomata. W 1983 wrócił do Związku Radzieckiego. W 1991 został mianowany ambasadorem Federacji Rosyjskiej w Madrycie, skąd wrócił w 1998, kiedy to 11 września został mianowany ministrem spraw zagranicznych, zastępując Jewgienija Primakowa.

Jako szef rosyjskiej dyplomacji, Iwanow był przeciwnikiem interwencji NATO w Jugosławii, którą uważał za przeszkodę w kontynuowaniu rosyjskich pokojowych negocjacji w sprawie Kosowa. Był również przeciwnikiem amerykańskiej inwazji na Irak. Iwanow odegrał znaczącą rolę w dialogu między prezydentem Gruzji Eduardem Szewardnadze a przywódcami opozycji podczas Rewolucji Róż w 2003.

W 2004 roku Iwanow został odwołany ze stanowiska ministra spraw zagranicznych i mianowany przez premiera Michaiła Fradkowa sekretarzem Rady Bezpieczeństwa Narodowego. Jego następcą w MSZ został Siergiej Ławrow.

W 1969 roku ukończył Moskiewski Instytut Języków Obcych im. Maurice'a Thoreza