Po studiach służył w artylerii. Walczył na wojnie z 1965 roku będąc ze swoim regimentem w Kehem Karan, Lahore i Sialkot. Przez kolejne lata był komandosem, między innymi w czasie wojny z 1971 roku.
Dowodził kolejno dwoma regimentami, brygadą, a następnie dywizją. W 1991 roku awansowano go do stopnia generała, a w 1998 roku został szefem sztabu armii.
Jesienią 1999 roku pokierował bezkrwawym zamachem stanu i po aresztowaniu premiera Nawaza Szarifa przejął rządy w Pakistanie. Zawiesił wówczas parlament i konstytucję.
W 2001 roku został zaprzysiężony na prezydenta. Rok później w referendum uzyskał według oficjalnych danych poparcie 98 proc. obywateli.
W październiku 2007 został ponownie wybrany na prezydenta przez członków obydwu izb parlamentu oraz przedstawicieli 4 prowincji pakistańskich. W przeddzień wyborów prezydent zawarł porozumienie z byłą premier kraju Benazir Bhutto, gwarantując jej amnestię i umożliwiając powrót do kraju (ciążą na niej zarzuty o charakterze korupcyjnym). Jest to uważane za krok w celu budowania koalicji przed planowanymi na styczeń 2008 wyborami parlamentarnymi, które mogłyby pozbawić władzy partię tracącego poparcie prezydenta.
Dąży do utrzymania dobrych stosunków ze Stanami Zjednoczonymi, stąd poparł w 2001 roku interwencję w rządzonym przez Talibów Afganistanie. W kraju Musharraf przeprowadza umiarkowane reformy.
W listopadzie 2007 roku prezydent Pakistanu Pervez Musharraf ustąpił ze stanowiska szefa armii, by ponownie zostać zaprzysiężonym jako jako cywilny prezydent. Musharraf przekazał dowództwo wybranemu przez siebie następcy, generałowi Aszfakowi Kayaniemu, podczas ceremonii w dowództwie armii w Rawalpindi.