Jest synem handlarza zbożem. Był szefem chrześcijańskich stacji telewizyjnych i radiowych, miejskim radnym w Amstelveen i urzędnikiem Holenderskiej Rady Uniwersyteckiej. W 1993 r. zaczął wykładać chrześcijańską myśl społeczną na Wolnym Uniwersytecie w Amsterdamie.
W politykę zaangażował się w latach 90. W 1998 r. wszedł do parlamentu), a szerzej znany stał się w październiku 2001 r. kiedy objął funkcję przewodniczącego frakcji chadeckiej w parlamencie. W lipcu 2002 roku po rezygnacji premiera Wima Koka stojąc na czele Apelu Chrześcijańsko-Demokratycznego (CDA) po raz pierwszy sformował rząd centroprawicowy, zwany I rządem Balkenende, w którego skład weszła m.in. populistyczna Lista Pima Fortuyna. Rząd ten po 86 dniach rozpadł się z powodu wewnętrznymi tarć w LPF. Po kolejnych - przyspieszonych - wyborach w 2003 r. Balkenende ponownie został premierem koalicyjnego rządu, złożonego z CDA, konserwatywno-liberalnej Partii Ludowej na Rzecz Wolności i Demokracji (VVD) i postępowo-liberalnych Demokratów 66. Ten rząd, zwany II gabinetem Balkenende, wsławił się twardą polityką imigracyjną i radykalnymi cięciami wydatków publicznych, co spowodowało spadek CDA w sondażach. Rząd upadł w czerwcu 2006 r., kiedy z koalicji wycofali się Demokraci 66. Balkenende podał się wówczas do dymisji i ogłosił kolejne wcześniejsze wybory, wyznaczając je na 22 listopada 2006 r. Pozostał jednak na czele mniejszościowego gabinetu koalicyjnego (CDA-VVD). Po wyborach CDA pozostała największą partią w holenderskim parlamencie.

Studiował historię i prawo na Wolnym Uniwersytecie w Amsterdamie; doktor prawa i profesor nauki społecznej Kościoła