Urodził się 18 grudnia 1929 r. w Inowrocławiu. Lata dziecięce i młodość spędził w miejscowości Rycerzewo k. Inowrocławia. Podczas okupacji pracował przymusowo w niemieckim gospodarstwie rolnym. Ukończył Państwowe Gimnazjum i Liceum im. Jana Kasprowicza w Inowrocławiu. W 1950 r. wstąpił do Prymasowskiego Wyższego Seminarium Duchownego w Gnieźnie.

Święcenia kapłańskie otrzymał 25 maja 1956 r. w bazylice prymasowskiej w Gnieźnie, z rąk biskupa Franciszka Jedwabskiego. Pracował jako kapelan sióstr dominikanek w Mielżynie, przy zakładzie dla dzieci nieuleczalnie chorych, równocześnie poświęcając się pracy wychowawczej i nauczaniu religii w szkole w Ruchocinku i w domu dla nieletnich przestępców w Witkowie, a następnie jako kapelan sióstr Sacré Coeur w Polskiej Wsi, jako wikariusz i prefekt w liceum pedagogicznym w Wągrowcu, a później jako wikariusz w Miasteczku Krajeńskim.

W latach 1958-1964 odbył studia specjalistyczne z zakresu prawa kanonicznego i świeckiego na Papieskim Uniwersytecie Laterańskim w Rzymie, uzyskując doktorat obojga praw. Ukończył także kurs specjalistyczny w Papieskim Uniwersytecie Gregoriańskim, m.in. stylistyki łacińskiej, oraz Studium Administracji Kościelnej przy Kongregacji Soboru i Studium Rotalne, uzyskując tytuł adwokata Roty Rzymskiej.

Po powrocie do Polski pełnił funkcję sekretarza w Prymasowskim Wyższym Seminarium Duchownym w Gnieźnie i notariusza w Kurii Metropolitalnej Gnieźnieńskiej i w Trybunale Metropolitalnym. W latach 1967-1979 pracował w Sekretariacie Prymasa Polski w Warszawie, jako referent i jednocześnie kapelan i sekretarz kardynała Stefana Wyszyńskiego. W tym okresie służył pomocą duszpasterską w kościele św. Marcina i w ośrodku duszpasterstwa akademickiego przy kościele św. Anny, był także duszpasterzem warszawskich prawników. W latach 1972-1979 prowadził zajęcia z prawa rzymskiego, a później ćwiczenia z prawa małżeńskiego na Wydziale Prawa Kanonicznego Akademii Teologii Katolickiej w Warszawie.

4 marca 1979 r. został mianowany biskupem ordynariuszem diecezji warmińskiej. Święcenia biskupie przyjął w bazylice prymasowskiej w Gnieźnie, 21 kwietnia 1979 r., z rąk kardynała Prymasa Stefana Wyszyńskiego, arcybiskupa metropolity krakowskiego Franciszka Macharskiego i biskupa Jana Obłąka, sufragana warmińskiego. W Episkopacie Polski pełnił funkcję przewodniczącego Komisji „Iustitia et Pax”.

7 lipca 1981 r. mianowany arcybiskupem metropolitą warszawskim i gnieźnieńskim, Prymasem Polski. Jako Prymas Polski został także opiekunem duszpasterstwa Polonii zagranicznej i ordynariuszem na terenie Polski dla Kościołów obrządku grekokatolickiego i ormiańskiego. 2 lutego 1983 r. otrzymał godność kardynalską.

Po reorganizacji struktur Kościoła w Polsce, w marcu 1992 r., pozostał arcybiskupem metropolitą warszawskim, zachowując godność Prymasa Polski, jako kustosz relikwii św. Wojciecha, a także ordynariuszem wiernych obrządku wschodniego żyjących w Polsce i nie mających własnego ordynariusza. W latach 1981-2004 pełnił funkcję przewodniczącego Rady Stałej i Konferencji Episkopatu Polski. Był także przewodniczącym II Synodu Plenarnego w Polsce. Jest członkiem watykańskiej Kongregacji dla Kościołów Wschodnich, Papieskiej Rady ds. Kultury i Najwyższego Trybunału Sygnatury Apostolskiej.

Jako duchowy opiekun polskiej emigracji odwiedzał wielokrotnie środowiska polonijne na wszystkich kontynentach. W swoim dorobku posiada ponad 100 artykułów z dziedziny teologii, historii teologii, prawa kanonicznego i ponad 50 książek, w większości dokumentujących jego posługę pasterską i działalność kaznodziejską.

6 grudnia 2006 r. Ojciec św. Benedykt XVI przyjął jego rezygnację z urzędu arcybiskupa metropolity warszawskiego, złożoną w związku z osiągnięciem wieku emerytalnego, zgodnie z przepisami prawa kanonicznego.
7 stycznia 2007 r., po rezygnacji abpa Stanisława Wielgusa z urzędu arcybiskupa metropolity warszawskiego, Ojciec św. Benedykt XVI powierzył mu pełnienie funkcji administratora apostolskiego archidiecezji warszawskiej, aż do 1.04.2007 r., tj. do ingresu następcy – abpa Kazimierza Nycza. Jako emeryt zamieszkiwał w Domu Prymasa w Wilanowie przy ul. Kolegiackiej 1.

18 grudnia 2009 ukończył 80 lat. Tego samego dnia zgodnie z decyzją papieża Benedykta XVI zakończył 28-letnią posługę jako urzędujący prymas Polski. Jego następcą został abp Henryk Muszyński. Od tej chwili tytuł prymasa powrócił do gnieźnieńskiej stolicy biskupiej, z którą jest historycznie związany, Kardynałowi Józefowi Glempowi zaś przysługiwał dożywotni tytuł prymasa seniora.