W polityce zadebiutował w wieku 22 lat. W 1976 roku został asystentem deputowanego Joëla Le Theule, a rok później, gdy ten został ministrem transportu - szefem jego gabinetu. W 1981 roku Fillon po raz pierwszy został wybrany do Zgromadzenia Narodowego, a także do rady generalnej Sarthe. W 1998 roku został członkiem rady regionalnej Pays de la Loire.

W 1993 roku został ministrem szkolnictwa wyższego i badań w rządzie Édouarda Balladura, a w maju 1995 roku - ministrem komunikacji i poczty w gabinecie Alaina Juppé. Piastował to stanowisko dwa lata. W 2002 roku ponownie został ministrem, tym razem spraw społecznych i handlu w gabinecie Jean-Pierre'a Raffarina, a w 2004 roku - ministrem edukacji, szkolnictwa wyższego i badań.

Ustąpił z funkcji w 2005 roku, kiedy premierem został Dominique de Villepin. W tym samym roku został senatorem z rodzinnego okręgu Sarthe.

W 2007 roku Fillon zaangażował się w kampanię prezydencką Nicolasa Sarkozy'ego. Po zwycięskich wyborach Sarkozy - 17 maja - mianował Fillona premierem Francji.

Fillon jest namiętnym czytelnikiem dzieł Chateaubrianda, wielkim amatorem alpinizmu i rajdów samochodowych; każdego roku za kierownicą ferrari bierze udział w 24-godzinnym wyścigu na torze w Le Mans. Żonaty jest z Walijką Penelope, mają pięcioro dzieci.

Studiował nauki polityczne w Fondation Nationale des Sciences Politiques

Studiował także prawo na Sorbonie

Ukończył prawo publiczne na Uniwersytecie Maine w Le Mans