W czasie wojny służył w obronie powietrznej Bremy, krótko na froncie wschodnim i pod na koniec działań wojennych w artylerii na froncie zachodnim. Tam trafił do niewoli brytyjskiej. W 1949 r. skończył studia. Wcześniej w 1946 r. wstąpił do SPD. Działał też w Niemieckim Socjalistycznym Związku Studentów (SDS), organizacji studenckiej SPD, której był przewodniczącym w latach 1947 - 1948. Po studiach pracował krótko w samorządzie Hamburga, a od 1952 w hamburskim ministerstwie gospodarki i transportu.
Po raz pierwszy został wybrany do Bundestagu w 1953 roku (do 1958). Szybko awansował w strukturach frakcji parlamentarnej SPD; w 1957 został członkiem jej prezydium. Dał się poznać jako zdecydowany krytyk polityki rządu konserwatywnego. W latach 1961 - 1965 zasiadał w senacie Hamburga. Ponownie wybrany do Bundestagu w 1965 r. przez pół kadencji piastował funkcje przewodniczącego parlamentarnej frakcji SPD. Awansował również w strukturach partii; w 1968 r. został jej wiceprzewodniczącym.
Rok później znalazł się w rządzie Willy'ego Brandta jako minister obrony, od czerwca 1972 - był ministrem gospodarki, a od grudnia do maja 1974 - ministrem finansów. Po rezygnacji Brandta objął po nim urząd kanclerza w maju 1974 r. Jego rządy przypadły na lata światowej recesji gospodarczej, wywołanej ograniczeniem wydobycia ropy. W czasie tej kadencji aktywnie działał na rzecz poprawy stosunków z Francją. Był również jednym z sygnatariuszy Aktu Końcowego KBWE, tworzącego Organizację Bezpieczeństwa i Współpracy w Europie (1975 r.).
Po wyborach w 1976 roku pozostał na stanowisku kanclerza, tym razem rządu koalicyjnego SPD - Partia Wolnych Demokratów. Był zwolennikiem rozszerzenia NATO po radzieckiej inwazji na Afganistan. W listopadzie 1980 roku został ponownie kanclerzem, w lutym 1982 r. wygrał konstruktywne wotum nieufności. Kolejne wotum nieufności 1 października po odejściu we wrześniu czterech ministrów z FDP zakończyło się jego rezygnacją (było to jedyne wotum nieufności w historii Niemiec, które zakończyło się odejściem kanclerza). W 1986 r. odszedł także z Bundestagu. Poza parlamentem działał na rzecz powstania Europejskiej Unii Monetarnej i Europejskiego Banku Centralnego.
Wcześniej w 1983 roku rozpoczął współpracę z tygodnikiem Die Zeit, którego dyrektorem zarządzającym został dwa lata później.