Holenderski dyplomata, sekretarz generalny NATO. Był oficerem sił powietrznych. Karierę w dyplomacji rozpoczął jako sekretarz ambasady Holandii w Ghanie. W latach 1978-1980 pracował w przedstawicielstwie Holandii przy NATO.
Dwukrotnie szefował holenderskiemu ministerstwu spraw zagranicznych w centroprawicowych rządach premiera Jana Petera Balkenende w 2002 i 2003 roku.
Zdobył reputację "spokojnego, ale zdecydowanego budowniczego mostów, który bardzo chce przywrócić harmonię w stosunkach transatlantyckich". Mówi się też o nim, że jest "raczej pragmatykiem niż dogmatykiem". Scheffer jest w znakomitych stosunkach z Białym Domem (do szefa amerykańskiej dyplomacji Collina Powella zwraca się po imieniu). Nie ma też żadnych trudności z rozmawianiem o sprawach międzynarodowych z szefem dyplomacji francuskiej Dominikiem de Villepin. Holendera akceptują także Niemcy. Ma dwie córki, żona jest francuską nauczycielką. Biegle włada angielskim, francuskim i niemieckim.
22 września 2003 roku został jednomyślnie zaakceptowany przez Radę (ambasadorów) NATO w Brukseli na stanowisko sekretarza generalnego NATO. W styczniu 2004 roku zastąpił na tym stanowisku George'a Robertsona.