Święcenia kapłańskie otrzymał po ukończeniu Wyższego Seminarium Duchownego w Łomży 23 maja 1964 r. Po powrocie z Rzymu w 1973 r. podjął pracę w Kurii Biskupiej w Łomży jako wicekanclerz. W październiku 1985 r. został szefem Biura ds. Młodzieży przy Papieskiej Radzie ds. Świeckich, a rok później biskupem gorzowskim. Od 1990 r. jest konsultorem Papieskiej Rady ds. Świeckich oraz członkiem Kongregacji Biskupów. W 1993 r. został mianowany przez Jana Pawła II arcybiskupem metropolitą przemyskim obrządku łacińskiego. W 1994 r. został wybrany na przewodniczącego Komisji ds. Laikatu w Radzie Konferencji Episkopatów Europy (CCEE).
W Konferencji Episkopatu Polski abp Michalik przez 10 lat pełnił funkcje: przewodniczącego Komisji Episkopatu ds. Duszpasterstwa Akademickiego, wiceprzewodniczącego Komisji Episkopatu ds. Duszpasterstwa Ogólnego oraz wiceprzewodniczącego Komisji ds. Duszpasterstwa Świeckich. Jest przewodniczącym Rady ds. Polonii i Polaków za Granicą. Od 1999 roku pełnił funkcję wiceprzewodniczącego, a od marca 2004 - przewodniczącego Konferencji Episkopatu Polski.
W lutym 2007 abp Józef Michalik poinformował, że Kościelna Komisja Historyczna na podstawie materiałów IPN ustaliła, że w latach 1975-1978 był on zarejestrowany jako agent SB o pseudonimie "Zefir". Uznała jednak, że nie ma podstaw, aby stwierdzić jego świadomą i rzeczywistą współpracę. Abp Michalik powiedział, że zarejestrowano go bez jego wiedzy i zgody.