Po studiach rozpoczął aplikację w Prokuraturze Rejonowej w Elblągu, gdzie pracował do 1988 r. W październiku 1988 r. przeszedł do Prokuratury Rejonowej w Gdańsku. W 1991 r. powołany został na zastępcę Prokuratora Rejonowego w Gdańsku, od 1993 do 2000 r. był Prokuratorem Rejonowym w Gdyni, a od października 2000 r. - Prokuratorem Okręgowym w Gdańsku. Przez wiele lat był członkiem Odwoławczego Sądu Dyscyplinarnego przy Prokuratorze Generalnym RP.

W latach 2000-2001, gdy ministrem sprawiedliwości był Lech Kaczyński, Kaczmarek sprawował funkcję wiceprokuratora generalnego i nadzorował najpoważniejsze śledztwa. Nadzorowane przez niego śledztwo w sprawie Centrozapu, w ramach którego na polecenie prokuratury zatrzymano oficera katowickiej delegatury Urzędu Ochrony Państwa wywołało konflikt między kierowanym przez Kaczyńskiego resortem, a koordynatorem służb specjalnych Januszem Pałubickim i ministrem SWiA Markiem Biernackim. Ówczesny premier Jerzy Buzek odwołał wówczas Kaczyńskiego z funkcji ministra.

Od sierpnia 2001 r. Kaczmarek był wicedyrektorem Biura Postępowania Przygotowawczego w Prokuraturze Krajowej. Po objęciu władzy przez ekipę Leszka Millera Kaczmarek, będący nominalnie prokuratorem Prokuratury Krajowej, został mianowany na funkcję Prokuratora Apelacyjnego w Gdańsku.

W grudniu 2005 roku został przez ministra Zbigniewa Ziobrę powołany na szefa Prokuratury Krajowej. Dotychczasowy szef Prokuratury Krajowej Karol Napierski odszedł w stan spoczynku.

7 lutego 2007 roku zgodził się objąć funkcję ministra spraw wewnętrznych i administracji po dymisji Ludwika Dorna. Dzień później Kaczmarek złożył urząd prokuratora prokuratury krajowej, a prezydent Lech Kaczyński powołał go na stanowisko szefa MSWiA. Z funkcji został odwołany 8 sierpnia 2007 roku. Decyzja miała związek z tym, że znalazł się w kręgu podejrzeń w związku z przeciekiem w ministerstwie rolnictwa w sprawie odrolnienia ziemi.

W połowie sierpnia 2007 r., kiedy trwała publiczna wymiana oskarżeń między Kaczmarkiem, a ministrem sprawiedliwości Zbigniewem Ziobro, pojawiły się informacje (opublikowane w "Gazecie Polskiej"), że były szef MSW Janusz Kaczmarek należał do PZPR, był lektorem Komitetu Miejskiego PZPR w Gdyni i odbył w czasach PRL-u szkolenie w Centrum Szkolenia Oficerów Politycznych. Informacje te miał zataić wypełniając w 2001 r. ankietę personalną.

30 sierpnia 2007 Janusz Kaczmarek został zatrzymany przez ABW w domu Sylwestra Latkowskiego, reżysera i dokumentalisty. Prokuratura postawiła byłemu szefowi MSWiA zarzuty utrudniania śledztwa i składania fałszywych zeznań w sprawie akcji CBA w resorcie rolnictwa. Kaczmarek odmówił zeznań.

Kaczmarek prowadzi zajęcia z prawa karnego materialnego na Uniwersytecie Mikołaja Kopernika w Toruniu, udzielał się też jako wykładowca Studium Doskonalenia dla Nauczycieli, Psychologów i Pedagogów w Gdańsku z zakresu zagadnień prawnych związanych z przemocą w rodzinie i szkole. Publikował w pismach "Przegląd Oświatowy", "Prokuratura i Prawo" oraz "Państwo i Prawo". Jest felietonistą miesięcznika "Edukacja Prawnicza" oraz autorem książki "Porwania dla okupu" i współautorem monografii "Przestępczość zorganizowana w ujęciu praktycznym".

Jest absolwentem Uniwersytetu Gdańskiego. Po indywidualnym toku studiów, obronił na ocenę bardzo dobrą pracę magisterską pt. "Granice dozwolonej działalności dziennikarskiej".