Na początku lat 60. związał się z liberalną FDP. W latach 1978-1982 pełnił funkcję sekretarza generalnego tej partii. Przez wiele lat pracował w niemieckiej dyplomacji. Był bliskim współpracownikiem Hansa-Dietricha Genschera.

Na początku lat 80. liberałowie zerwali koalicję z SPD i związali się z chadekami. Verheugen wystąpił wówczas z partii i zgłosił akces do SPD. W 1993 roku objął stanowisko sekretarza generalnego ugrupowania. W 1998 roku został wiceministrem spraw zagranicznych Niemiec.

W 1999 roku został komisarzem Unii Europejskiej ds. rozszerzenia. W czasie jego kadencji do wspólnoty dołączyło 10 nowych krajów, w tym Polska. W 2003 roku Verheugen otrzymał od tygodnika Wprost tytuł "Człowieka Roku 2002" - tytuł ten otrzymują osoby, które wywarły największy wpływ na rzeczywistość gospodarczą, społeczną i polityczną poprzedniego roku.

W 2004 roku został unijnym komisarzem ds. przemysłu i przedsiębiorczości oraz wiceprzewodniczącym Komisji Europejskiej.

Jest absolwentem historii, socjologii i nauk politycznych na uniwersytetach w Kolonii i Bonn.