Pochodził z głęboko wierzącej rodziny protestanckiej. W młodości był zaangażowany w działalność Kościoła Wyznającego, który przeciwstawiał się Narodowemu Socjalizmowi. Po ukończeniu szkoły w 1949 r. pracował jako dziennikarz, a następnie członek zarządu i dyrektor Wydawnictwa Młodzieży Ewangelickiej.
Pierwsze kroki w działalności politycznej Rau stawiał w Ogólnoniemieckiej Partii Ludowej (GVP), założonej przez Gustava Heinemanna (późniejszego prezydenta Niemiec), krótko działającej partii, dążącej do zjednoczenia Niemiec. Wstąpił do niej w 1952 r. Po jej rozwiązaniu w 1957 r. razem z Heinemannem przeszedł do SPD. Z ramienia tej partii wszedł w 1958 r. do nadreńskiego landtagu, by w 1957 zostać w nim szefem klubu SPD. Stopniowo awansował też w lokalnej hierarchii partyjnej do funkcji przewodniczącego nadreńskiego SPD (1977 r.). Pod jego przewodnictwem SPD czterokrotnie wygrywała wybory ogromną większością głosów, a Rau przez dwadzieścia lat (1978-98) był premierem Nadrenii-Północnej Westfalii. Od 1995 Rau przewodził lokalnej koalicji SPD-Zieloni.
W 1986 r. Johannes Rau przegrał walkę z liderem CDU Helmutem Kohlem o fotel kanclerza. Niepowodzeniem zakończyła się też jego rywalizacja o urząd prezydenta z Romanem Herzogiem w 1994 r. W 1998 Rau ustąpił z funkcji szefa SPD. W 1999 r. został wybrany na ósmego prezydenta RFN.
Politycznym hasłem Raua było "Pojednanie zamiast dzielenia. Zabiegał o pojednanie z Polską, wielokrotnie odwiedzając nasz kraj. 1 września 1999 roku złożył symboliczną wizytę na Westerplatte. W 2004 roku przemawiał w polskim Sejmie z okazji wstąpienia naszego kraju do Unii Europejskiej. Zaangażował się, wraz Aleksandrem Kwaśniewskim, na rzecz rozwiązania sporu o Centrum przeciwko Wypędzeniom.

Absolwent Szkoły Księgarskiej w Kolonii

Rau został uhonorowany dziewięcioma doktoratami honoris causa