Bardzo wcześnie rozpoczął działalność polityczną - już jako trzynastoletni uczeń założył tajne stowarzyszenie. Jeszcze za czasów monarchii, jako nastolatek wstąpił do Demokratycznej Partii Kurdystanu, by w 1951 roku, w wieku 18 lat wejść w skład Komitetu Centralnego tej partii.

Po upadku monarchii w Iraku w 1958 roku pracował jako dziennikarz i wydawca dwóch kurdyjskich czasopism. W 1959 roku dostał powołanie do wojska i przez pewien czas służył w armii irackiej jako dowódca jednostki czołgów. Gdy w 1961 roku wybuchło kurdyjskie powstanie przeciw władzom w Bagdadzie, Talabani dowodził oddziałami kurdyjskimi w Kirkuku i Sulejmanii. Jeździł też do Europy i na Bliski Wschód, aby zabiegać o poparcie dla ludności kurdyjskiej.

Po upadku w 1975 roku kolejnego powstania kierowanego przez Demokratyczną Partię Kurdystanu Talabani, niezadowolony z polityki kierownictwa, wystąpił z niej i założył Patriotyczną Unię Kurdystanu (PUK). Rok później zapoczątkował zbrojny opór przeciwko Saddamowi Husajnowi. Walki trwały do 1988 roku, kiedy to Saddam wysiedlił Kurdów ze strategicznych terenów i użył broni chemicznej, zabijając dziesiątki tysięcy kurdyjskich cywilów. Talabani schronił się wtedy w Iranie.

Po wojnie w Zatoce Perskiej w roku 1991 region kurdyjski, osłaniany przed wojskami Saddama przez lotnictwo USA, uniezależnił się w praktyce od władz w Bagdadzie i uzyskał szeroką autonomię. Wtedy jednak partia Talabaniego i Demokratyczna Partia Kurdystanu (DPK) Masuda Barzaniego zaczęły rywalizować o kontrolę nad terenami kurdyjskimi. Doszło do walk i dopiero w 1998 roku Amerykanom udało się pogodzić walczące strony. Rozejm, który wtedy zawarli, okazał się trwały.

W historycznych wyborach powszechnych w Iraku 30 stycznia PUK i DPK wystąpiły razem jako Sojusz Kurdyjski, zdobywając w 275-miejscowym parlamencie 75 mandatów.

6. kwietnia 2005 r. Talabani został wybrany jako pierwszy Kurd na prezydenta Iraku przez wyłoniony w pierwszych powszechnych wyborach w Iraku parlament.

Zaczął studiować prawo, ale w 1956 roku musiał przejść do podziemia, by uniknąć aresztowania za działalność polityczną - był założycielem i sekretarzem generalnym Związku Studentów Kurdystanu. Studia prawnicze wznowił i ukończył później.