Ukończył Katolicki Uniwersytet w Lueven. Pracę licencjacką obronił z filozofii, magisterską z ekonomii. Po studiach, w latach 1972-1975, pracował jako attaché ds. wewnętrznych w administracji Banku Narodowego Belgii. W tym samym czasie od 1973 do 1977 roku był wiceprzewodniczącym młodzieżówki Chrześcijańskiej Partii Ludowej (CVP, Christelijke Volkspartij). Z partią tą, która w roku 2001 zmieniła nazwę na Chrześcijańscy Demokraci i Flamandowie (CDV, Christen-Democratisch en Vlaams) jest związany od początku działalności politycznej.
W czasie wieloletniej kariery w polityce zajmował kolejne stanowiska w belgijskiej administracji rządowej. W latach 1975-1978 był doradcą w gabinecie premiera Leo Tindemansa, a od 1978 do 1980 pracował jako doradca w gabinecie ministra finansów Gastona Geensa. W latach 1980-1988 był dyrektorem Centrum Nauk Politycznych, Ekonomicznych i Społecznych oraz profesorem w Wyższej Szkole Handlu w Antwerpii. W tym samym czasie Van Rompuy pełnił również funkcję przewodniczącego CVP w okręgu Brussel-Halle-Vilvoorde.
Po siedmiu latach pełnienia funkcji senatora z ramienia CVP, w 1995 Van Rompuy wszedł w skład Izby Reprezentantów, gdzie zasiada do chwili obecnej. W styczniu 2004 otrzymał tytuł ministra stanu – wyróżnienie przyznawane przez belgijskiego monarchę w uznaniu zasług dla kraju. Przewodniczącym Izby Reprezentantów został 12 lipca 2007 roku i funkcję tę pełnił aż do objęcia teki premiera 30 grudnia 2008 roku.
Będąc posłem opozycji zasłynął jako zdecydowany przeciwnik przyjęcia Turcji do UE. - Turcja nie jest częścią Europy i nigdy nie będzie – powiedział pięć lat temu Van Rompuy. - Uniwersalne wartości, które obowiązują w Europie i które stanowią fundamentalne wartości chrześcijaństwa, stracą na żywotności wraz z wstąpieniem do Unii dużego kraju muzułmańskiego, jakim jest Turcja – dodał. Mimo to w Belgii jest uznawany za polityka kompromisowego. Uznanie obywateli zyskał dzięki zdolności do rozładowywania nieustannych konfliktów, wybuchających pomiędzy reprezentantami ludności flamandzkiej i walońskiej. 19 listopada został pierwszym w historii UE stałym przewodniczącym Rady Europejskiej.

Przez unijnych komentatorów nazywany jest najnudniejszym człowiekiem w europejskiej polityce. Belg znany jest z oszczędności i skromnego trybu życia, na wakacje jeździ autobusami i lata klasą ekonomiczną. Jego życiowe motto, które przekłada się na pracę to „cicha determinacja”. Prywatnie jest chorobliwie nieśmiały, dyskretny, uwielbia pisać i układać haiku, dzięki czemu zyskał sobie grono fanów w Japonii. Od kilkunastu lat jest mężem J Geertrui Windels, z którą ma czworo dzieci. Mieszkają w willowej miejscowości na obrzeżach Brukseli. Najstarszy syn, 29-letni Peter (chadek i absolwent uniwersytetu w Leuven) pracuje w gabinecie ministra obrony Pietera De Crema. Rodzeństwo Van Rompuyego również udzielają się publicznie. Młodszy brat Eric ma opinię flamandzkiego nacjonalisty. W przeszłości był ministrem oraz deputowanym – także z szeregów flamandzkich chadeków. Siostra Hermana Christina Van Rompuy poza byciem pielęgniarką jest czołową działaczką Belgijskiej Partii Robotniczej. Van Rompuya jak przystało na chadeka jest praktykującym katolikiem.