W latach 50. dołączył do Legii Cudzoziemskiej, z którą walczył w Algierii i Indochinach. Niemal równocześnie zaangażował się w politykę - najpierw jako przedstawiciel populistycznej organizacji drobnych kupców i przedsiębiorców Pierre'a Poujada, a następnie ruchu nacjonalisty Jean-Louisa Tixier-Vignancoura. W 1965 roku Le Pen był m.in. szefem kampanii prezydenckiej Tixier-Vignancoura.

W 1972 roku powołał skrajnie prawicową partię Front Narodowy. Kiedy w 1974 roku Le Pen po raz pierwszy kandydował w wyborach prezydenckich, uzyskał zaledwie 0,74 proc. głosów. W wyborach w 1981 roku nie uczestniczył - nie udało mu się zebrać wymaganych 500 podpisów elekcyjnych. Dopiero udział w wyborach w 1988 roku przyniósł mu prawdziwy sukces - 14,61 proc. głosów. W 1995 r. w I turze głosowało na niego 15,27 proc. wyborców. Wybory w 2002 r. przyniosły mu największy sukces, gdy pokonał wytrawnego polityka socjalistów Lionela Jospina i z 16,86 proc. przeszedł się do drugiej tury, by zmierzyć się z Jacquesem Chirakiem. Poparcie dla znanego z ksenofobicznych i antyimigranckich wypowiedzi Le Pena wywołało wówczas prawdziwy wstrząs we Francji. W drugiej turze zagłosowało na niego tylko 17,94 proc. wyborców, podczas gdy na Chiraca 82,06 proc.

Od 1984 roku Le Pen zasiada w Parlamencie Europejskim. W 1989 roku objął przewodnictwo jednej z frakcji w Parlamencie Europejskim. Dwukrotnie uchylano mu immunitet, by mógł odpowiadać przed sądem za antysemickie wypowiedzi. W 1999 roku nastąpił rozłam we Froncie Narodowym i przez chwilę wydawało się, że ugrupowanie to straciło na znaczeniu.

Przed ostatnimi wyborami prezydenckimi Le Pen otrzymywał 16 proc. poparcia i zajmował czwarte miejsce w sondażach. Ostatecznie w wyborach w 2007 roku otrzymał 10,51 proc. głosów.

Jean-Marie Le Pen był dwukrotnie żonaty, ma trójkę dzieci i dziewięcioro wnucząt. Najmłodsza córka - Marine Le Pen, jest szefową biura politycznego Frontu Narodowego.

Na Uniwersytecie Paryskim ukończył nauki polityczne i prawo.

Uczęszczał do kolegium jezuickiego w Vannes.