W swojej karierze był m.in. pilotem i mistrzem zapasów marynarki wojennej, brokerem inwestycyjnym, kongresmanem i najmłodszym w historii USA sekretarzem obrony (w 1975 r. w administracji prezydenta Geralda Forda). Po raz pierwszy zdobył mandat kongresmana w 1962 r. Był także doradcą ekonomicznym prezydenta Richarda Nixona oraz ambasadorem USA przy NATO. Pracował m.in. w firmach farmaceutycznych i technologicznych; był również szefem przegranej kampanii prezydenckiej Boba Dole'a w 1996 r. Pod koniec lat 90. kierował komisją powołaną przez prezydenta Billa Clintona badającą zagrożenie atakiem rakietowym ze strony tzw. państw bandyckich. Od 2001 r. jest sekretarzem obrony w administracji George'a Busha Jr.

8 listopada 2006 r. w dzień po przegranych przez Republikanów wyborach do Kongresu USA, Rumsfeld został zdymisjonowany ze stanowiska ministra obrony

Absolwent historii elitarnego Uniwersytetu Princeton