W 1971 roku rozpoczął służbę w Milicji Obywatelskiej. W latach 1980-1983 był dowódcą Kompanii Wywiadowczej w Komendzie Wojewódzkiej MO w Krakowie. Od 1983 roku był zastępcą komendanta dzielnicowego Kraków-Nowa Huta.

W 1990 roku został komendantem rejonowym policji w Nowej Hucie. W latach 1994-1999 był zastępcą komendanta wojewódzkiego policji w Krakowie. W kwietniu 1999 został powołany na stanowisko komendanta stołecznego policji. 6 września 2000 otrzymał nominację na stopień nadinspektora.

W 2001 roku został powołany na stanowisko Komendanta Głównego Policji, a 11 lipca 2002 roku otrzymał awans na generalnego inspektora, czyli najwyższy stopień w polskiej policji. Odszedł ze stanowiska w październiku 2003 po ujawnieniu roli, jaką odegrał w aferze starachowickiej.

W marcu 2006 r. Sąd Rejonowy w Kielcach uniewinnił Kowalczyka od zarzutu składania fałszywych zeznań w śledztwie dotyczącym tzw. afery starachowickiej uznając, że nie informując prokuratury o "przecieku" informacji o planowanej akcji CBŚ w Starachowicach i składając fałszywe zeznania, realizował on swoje prawo do obrony. Przyjął też, że b. szef policji był pierwszym źródłem wycieku i zasugerował, że można by go oskarżyć za ujawnienie tajemnicy państwowej.

W marcu 2007 roku Sąd Najwyższy badający apelację prokuratury od tego wyroku zdecydował, że sprawa wróci do sądu pierwszej instancji.

W grudniu 2007 roku Sąd Rejonowy w Kielcach skazał Kowalczyka na karę roku i 2 miesięcy więzienia.

Ukończył studia w Wyższej Szkole Rolniczej w Krakowie, otrzymując tytuł inżyniera leśnictwa, oraz studia oficerskie.