Ten syn narodu holenderskiego urodził się w 1909 r. w Bovenkarspel na terenie diecezji Haarlem. Był najstarszy z dziewięciorga dzieci. Jeden z jego braci został księdzem. Johannes w 25. roku życia ukończył seminarium duchowne w Warmond, a przełożeni wysłali go do Rzymu, gdzie na podstawie pracy o myśli kard. Joh-na Henry'ego Newmana uzyskał na Angelicum doktorat z filozofii. Po powrocie do Holandii wykładał filozofię w seminarium w Warmond, a w 1945 r. został jego rektorem. Funkcję tę pełnił przez 15 lat.

     W 1946 r.,a więc na 16 lat przed rozpoczęciem Vaticanum II, z polecenia Episkopatu Holandii stanął na czele stowarzyszenia św. Williborda, które zajmowało się dialogiem z Kościołami chrześcijańskimi w tym kraju. Później, w ramach Konferencji Katolickiej ds. Zagadnień Ekumenicznych, działał w forum teologów chrześcijańskich.

     Jego zaangażowanie w dzieło pojednania między chrześcijanami zwróciło uwagę Stolicy Apostolskiej. W 1960 r. został powołany do pracy w Watykanie. Jan XXIII mianował go sekretarzem Sekretariatu ds. Jedności Chrześcijan, który przygotowywał dokumenty soborowe na temat ekumenizmu, wolności religijnej i stosunku Kościoła katolickiego do religii niechrześcijańskich. To dzięki jego zaangażowaniu i zgodzie papieża Jana XXIII w soborze mogli uczestniczyć obserwatorzy z Kościołów prawosławnych i protestanckich.

     Jeszcze w trakcie trwania Soboru Paweł VI wyniósł go do godności biskupa tyt. Mauriana i sam udzielił mu sakry 28 czerwca 1964 r. Pięć lat później - po śmierci pioniera ekumenizmu kard. Augusta Bea - papież Montini mianował go przewodniczącym Sekretariatu ds. Jedności Chrześcijan i kardynałem. Na czele tej dykasterii Kurii Rzymskiej stal 20 lat. Był m.in. pierwszym przewodniczącym Międzynarodowej Komisji ds. Dialogu Teologicznego między Kościołem katolickim i Kościołem prawosławnym. Jego działalność wzbudzała zainteresowanie i uznanie. Otrzymał 20 doktoratów honoris causa, w tym w 1985 r. od Katolickiego Uniwersytetu Lubelskiego.

     Jednocześnie w latach 1975-1983 był arcybiskupem Utrechtu i Prymasem Holandii, a także biskupem polowym. Stał też na czele Konferencji Episkopatu. Zaufaniem darzył go też Jan Paweł II, za którego pontyfikatu przez 10 lat odpowiadał za dialog ekumeniczny. W 1988 r. papież wysłał go do Moskwy na rozmowy na Kremlu.

     Kiedy umierał, miał blisko 97 lat i był najstarszym kardynałem. Pochowany został w swojej rodzinnej Holandii. Duchową spuścizną kard. Willebrandsa zajmuje się fundacja "Archiwum Kardynała Willebrandsa", która powstała w Utrechcie. W dniu setnej rocznicy urodzin kardynała, 4 września 2009 r., udostępni ona archiwum tego wybitnego hierarchy.