Józef Kowalczyk otrzymał święcenia kapłańskie po ukończeniu Wyższego Seminarium Duchownego "Hosianum" w Olsztynie 14 stycznia 1962 r. Posługę kapłańską zaczął od dwuletniej pracy w parafii Świętej Trójcy w Kwidzynie. W 1964 r. rozpoczął studia z prawa kanonicznego na Katolickim Uniwersytecie Lubelskim, gdzie po roku uzyskał stopień bakalaureatu. Kontynuował je już w Rzymie na Papieskim Uniwersytecie Gregorianum. Tam też w 1968 r. uzyskał doktorat. Kolejne studia odbył w Studium Rotalnym, uzyskując dyplom adwokata rotalnego. Po ich ukończeniu podjął pracę w Najwyższym Trybunale Apostolskim Roty Rzymskiej. Uzyskał też dyplom archiwisty w Tajnym Archiwum Watykańskim po studiach z zakresu archiwistyki.
W Kurii Rzymskiej ks. Józef Kowalczyk znalazł się w 1969 r. w ramach procesu jej umiędzynaradawiania po Soborze Watykańskim II. Wytypowany przez prymasa Stefana Wyszyńskiego, rozpoczął pracę w centrum chrześcijaństwa w Watykanie, najpierw w Kongregacji do spraw Dyscypliny Sakramentów, a następnie w Sekretariacie Stanu.
Po wyborze Karola Wojtyły na papieża, ks. Kowalczyk szefował komisji do spraw publikacji pism i przekładów obcojęzycznych dzieł Karola Wojtyły i był redaktorem naczelnym polskojęzycznego wydania czternastu tomów nauczania Papieża Jana Pawła II.
Po wznowieniu stosunków dyplomatycznych z Polską w 1989 r. Jan Paweł II mianował go nuncjuszem apostolskim w Warszawie, jednocześnie podnosząc do godności arcybiskupa tytularnego Heraklei.
Za czasów nuncjatury abp. Kowalczyka nastąpił powrót nauki religii do szkół, został reaktywowany ordynariat polowy, wprowadzono nowy podział administracyjny Kościoła w Polsce i wynegocjowano konkordat, podpisany 28 lipca 1993 r., a ratyfikowany 25 marca 1997 r.
Cieniem na nuncjaturze abp. Kowalczyka kładzie się fakt wysunięcia kandydatury abp. Stanisława Wielgusa na metropolitę warszawskiego, podejrzanego o współpracę z SB. Jak tłumaczył jednak abp Kowalczyk, nuncjatura nie miała możliwości sprawdzenia jego przeszłości, bo jako podmiot zagraniczny nie ma prawa żądać zdeponowanych w IPN akt dotyczących duchownych.

Na początku stycznia 2009 "Gazeta Wyborcza" ujawniła, że abp Kowalczyk był zarejestrowany przez wywiad PRL jako kontakt informacyjny. Z badań kościelnej komisji historycznej, do której nuncjusz zwrócił się o zbadanie swojej teczki, wynikało, że stało się to bez jego wiedzy. 5 stycznia 2010 r. "Rzeczpospolita" poinformowała, że dotarła do dokumentu, który wprost stwierdza, że jego rejestracja była fikcyjna.

W 1986 roku płk Eugeniusz Spyra, odpowiedzialny w wywiadzie za Watykan, podsumowując pracę agentury, napisał, iż "Cappino" został "na wyrost" zarejestrowany w kategorii KI. Miał być jedynie "kontaktem przykrycia" oficera wywiadu Edwarda Kotowskiego (ps. Pietro), który spotykał się z ks. Kowalczykiem jedynie jako sekretarz Ambasady PRL.

8 maja 2010 r. został mianowany przez papieża Benedykta XVI prymasem Polski na miejsce odchodzącego na emeryturę abp. Henryka Muszyńskiego.

2001 - doktorat h.c. Uniwersytetu Warmińsko-Mazurskiego w Olsztynie

Roczne studia w zakresie prawa kanonicznego na KUL

Studia filozoficzno-teologiczne na Wyższym Seminarium Duchownym w Olsztynie, kontynuowane na Papieskim Uniwersytecie Gregorianum w Rzymie (zakończone doktoratem); studia z jurysprudencji kościelnej w Studium Rotalnym, studia z zakresu archiwistyki

Wielki Krzyż Orderu Zasługi Republiki Federalnej Niemiec (2007), Wielki Krzyż Orderu Republiki Portugalskiej (2008), Krzyż Pro Piis Meritis przyznany przez Kawalerów Maltańskich (2003), Wielki Order św. Zygmunta Diecezji Płockiej (1999) oraz Medal Milito pro Christo Ordynariatu Polowego (2009), odznaka honorowa "Bene Merito" za działalność wzmacniającą pozycję Polski na arenie międzynarodowej, przyznaną przez Ministra Spraw Zagranicznych RP (2009), nagroda „Orli Laur”, przyznana przez kapitułę konsulów honorowych w Polsce (2005) oraz statuetka „Złotego Hipolita” od Towarzystwa im. H. Cegielskiego (2006).

Akademii Rolniczej w Krakowie (1999), Uniwersytetu Kardynała Stefana Wyszyńskiego (2000), Katolickiego Uniwersytetu Lubelskiego Jana Pawła II (2001) i Uniwersytetu Warmińsko-Mazurskiego (2004).