Pracował w kurii i Wyższym Seminarium Duchownym w Gnieźnie. Od 1967 roku do 1979 roku był osobistym sekretarzem prymasa Stefana Wyszyńskiego. Był wykładowcą prawa rzymskiego w Akademii Teologii Katolickiej w Warszawie.
21 kwietnia 1979 roku otrzymał z rąk kardynała Prymasa Stefana Wyszyńskiego, arcybiskupa metropolity krakowskiego Franciszka Macharskiego i biskupa Jana Obłąka, ówczesnego sufragana warmińskiego sakrę biskupią.
7 lipca 1981 roku został mianowany przez papieża Jana Pawła II arcybiskupem-metropolitą gnieźnieńskim i warszawskim oraz prymasem Polski. Od marca 1992 roku w związku z rozwiązaniem dotychczasowej unii personalnej arcybiskupstwa gnieźnieńsko-warszawskiego tytuł prymasa pozostał przy arcybiskupie warszawskim Józefie Glempie. Po jego śmierci (lub ustąpieniu) tytuł ten ma jednak na powrót zostać przywiązany do Gniezna.
Do 2004 roku był przewodniczącym Konferencji Episkopatu Polski.
7 stycznia 2007 kard. Józef Glemp został mianowany administratorem apostolskim archidiecezji warszawskiej.
W czerwcu 2007 zrezygnował z funkcji ordynariusza wiernych obrządków: ormiańskiego i bizantyjsko-słowiańskiego w Polsce.