Karierę zawodową Koczarian zaczynał w 1971 r. jako tokarz w zakładach elektrotechnicznych w Stepanakercie. Po odbyciu służby wojskowej w Armii Czerwonej (1972 - 1974) skończył w 1982 r. z wyróżnieniem studia w Erewańskim Instytucie Politechnicznym.
W latach 80. Koczarian zaangażował się w działalność na rzecz oderwania od Azerbejdżanu Górnego Karabachu, zamieszkałego przez Ormian obwodu autonomicznego, włączonego do Azerbejdżanu w 1923 r. przez władze ZSRR. Pod koniec lat 80. Koczarian został deputowanym do Rady Najwyższej Armenii, a w 1991 r. do Rady Najwyższej Republiki Górnego Karabachu. W 1992 r. w glorii bohatera walk o niepodległość obwodu (po ogłoszeniu przez Karabach niepodległości azerska armia okupowała połowę jego terytorium), Koczarian stanął na czele rządu Republiki Górnego Karabachu jako pierwszy jej premier, a w grudnia 1994 r. został wybrany przez Radę Najwyższą na prezydenta republiki. W 1997 r. został premierem Armenii, a rok później prezydentem. Zastąpił na tym stanowisku pierwszego szefa państwa Lewona Ter-Petrosjana, zmuszonego do ustąpienia pod wpływem opinii publicznej oburzonej popieraniem przez niego pokojowego rozwiązania konfliktu o Górny Karabach kosztem ustępstw na rzecz Azerbejdżanu.
W 2003, Koczarian został ponownie wybrany na ten urząd, tym razem już w wolnych wyborach. Obserwatorzy OBWE zgłosili jednak wówczas szereg zastrzeżeń, co do sposobu ich przeprowadzenia i wiarygodności wyników. Za rządów Koczariana szerzyła się korupcja, nie należały do rzadkości morderstwa polityczne i akty przemocy wobec opozycji. W 2004 odbyły się liczne demonstracje wzywające prezydenta do rezygnacji z urzędu. Armenię pod jego rządami określa się jako kraj "o ograniczonej demokracji", a Koczarian uważany jest za polityka prorosyjskiego.
9 kwietnia 2008 oficjalnie jego następcą został Serż Sarkisjan.