W latach 1993-1999 przebywał w jordańskim więzieniu za terroryzm. Lata 1996-2001 spędził w Afganistanie i zachodnim Pakistanie, kolebce talibów, fanatyków islamskich.

W roku 2002 sąd w Jordanii skazał Zarkawiego zaocznie na karę śmierci za przygotowywanie ataków na cele amerykańskie i izraelskie w tym kraju. W marcu 2005 roku inny sąd jordański skazał Zarkawiego zaocznie na 15 lat więzienia za planowanie zamachu na ambasadę Jordanii w Bagdadzie.

Tuż przed amerykańską inwazją na Irak w marcu 2003 r. Zarkawi był powiązany z ekstremistycznym ugrupowaniem Ansar al-Islam, które działało w kurdyjskiej części Iraku.

W październiku 2004 roku Zarkawi uznał Osamę bin Ladena za zwierzchnika i zmienił nazwę swej organizacji z Tauhid wa Dżihad (Jeden Bóg i Święta Wojna) na Organizacja Al-Kaidy dla Świętej Wojny w Iraku. W grudniu bin Laden mianował go swoim namiestnikiem w Iraku.

Od 2005 roku organizacja Zarkawiego przyznała się do kilkudziesięciu krwawych zamachów bombowych oraz do wielu uprowadzeń i egzekucji. W końcu lutego Amerykanie byli o krok od schwytania Zarkawiego podczas obławy wokół Ramadi.

Analitycy nie wykluczali, że Zarkawi realizował program Al-Kaidy, zmierzający do ustanowienia kalifatu, czyli wielkiego państwa muzułmańskiego, które miałoby objąć cały Bliski Wschód. Takie zalecenie przekazał Zarkawiemu latem 2005 roku Ajman Zawahiri, egipski zastępca szefa Al-Kaidy, Osamy bin Ladena.

7 czerwca 2006 roku Zarkawi został zabity podczas ataku lotniczego w ramach wspólnej akcji sił USA i Iraku w pobliżu Bakuby, 50 km na północ od Bagdadu.