Schroeder wstąpił do Partii Socjaldemokratycznej w 1963 roku. W roku 1978 został przewodniczącym federalnym niemieckich Młodych Socjalistów, młodzieżówki SPD. W roku 1980 został wybrany na posła do Bundestagu. Wkrótce potem został przewodniczącym SPD w Hanowerze. W 1986 roku wybrany do lokalnego parlamentu Dolnej Saksonii, jako przywódca frakcji SPD. Znalazł się także we władzach federalnych partii. W latach 1990-1998 był premierem Dolnej Saksonii.
Po zwycięstwie wyborczym SPD, Schroeder 27 października 1998 roku został kanclerzem RFN, zastępując na tym stanowisku Helmuta Kohla. 22 września 2002 roku rządząca koalicja Socjaldemokratycznej Partii Niemiec-Zieloni wygrała kolejne wybory i tym samym Schroeder rozpoczął swoją drugą kadencję. Po rezygnacji Oskara Lafontaine'a z funkcji przewodniczącego SPD w marcu 1999 roku, Schroedera wybrano również na to stanowisko. Zrezygnował z niego w lutym 2004, pod pretekstem skoncentrowania się na pracy kanclerza i wprowadzenia reform gospodarczych. Innym powodem rezygnacji z funkcji szefa SPD, było najniższe w historii poparcie dla tej partii w sondażach.
Rząd kanclerza Schroedera był pierwszym po 1945 roku rządem, który wysłał armię niemiecką poza terytorium NATO - do Kosowa i Afganistanu. Po ataku terrorystów na World Trade Center i Pentagon, niemiecki rząd zadeklarował solidarność ze Stanami Zjednoczonymi, jednak wraz z prezydentem Francji Jacquesem Chirakiem, Schroeder sprzeciwił się wojnie w Iraku w 2003 roku i odmówił wsparcia wojskowego tej operacji. Sprzeciw ten wywołał ochłodzenie w stosunkach między USA i Niemcami.
1 lipca 2005 roku Bundestag nie udzielił Schroederowi wotum zaufania. Efektem było skrócenie kadencji parlamentu. SPD przegrało wybory, a w nowej "Wielkiej Koalicji" CDU/CSU-SPD zabrakło dla niego miejsca.
Gerhard Schroeder odszedł wówczas z polityki i został przewodniczącym komitetu akcjonariuszy North European Gas Pipeline Company, spółki mającej wybudować morski odcinek Gazociągu Północnego, którym w 2010 roku rosyjski gaz popłynie bezpośrednio do Niemiec. 8 września 2005 roku w Berlinie w obecności Schroedera rosyjski Gazprom oraz niemieckie koncerny E.ON i BASF podpisały umowę o budowie tego gazociągu. Wcześniej rząd Gerharda Schroedera udzielił Gazpromowi poręczenia na kredyt w wysokości jednego miliarda euro.