Urodził się 13 marca 1911 r. w Siedliskach koło Rzeszowa. Po ukończeniu szkoły podstawowej, zgodnie z.życzeniem rodziców, udał się do Zakładu Salezjańskiego im. Księdza Bosco w Oświęcimiu. Podczas pobytu w zakładzie wyróżniał się wśród kolegów bystrością umysłu, pilnością, pobożnością oraz duchem apostolskim.

     Po pięciu latach wstąpił do nowicjatu Salezjańskiego w Czerwińsku, po ukończeniu którego w 1928 r. złożył czasową profesję zakonną. W 1934 r. złożył wieczyste śluby zakonne i rozpoczął w Krakowie studia teologiczne, uwieńczone 29 maja 1938 r. przyjęciem święceń kapłańskich.

     Podczas studiów filozoficznych i teologicznych kleryk Józef z wielką gorliwością dążył do świętości. O wytrwałym i permanentnym dążeniu do świętości świadczą między innymi słowa zapisane w 1930 r. w jego "Pamiętniku": "O mój Drogi Jezu, daj mi wolę wytrwałą, stanowczą, silną, bym zdołał wytrwać przy swoich świętych postanowieniach i zdołał dopiąć szczytnego ideału świętości, jaki sobie zakreśliłem. JA MAM I MUSZĘ BYĆ ŚWIĘTYM".

     Młody kleryk, ożywiony wzniosłym ideałem świętości, nie chciał poprzestać tylko na słowach, ale swoją gorącą i żywą miłość do Chrystusa pragnął wyrazić w czynach, a szczególnie w cierpieniu. Dlatego w "Pamiętniku" nakreślił własną krwią mały krzyżyk, a pod nim umieścił napis: "CIERPIEĆ I BYĆ WZGARDZONYM".

     Jego pragnienie świętości nie osłabło z chwilą przyjęcia święceń prezbiteratu, ale się jeszcze spotęgowało. Jako kapłan gorliwie pracował i wypełniał obowiązki sekretarza prowincjała ks. Adama Cieślara oraz bardzo chętnie angażował się w pracę duszpasterską, szczególnie wśród młodzieży męskiej w parafii św. Stanisława Kostki w Krakowie. Podczas okupacji władze niemieckie, zaniepokojone gorliwą działalnością duszpasterską salezjanów na Dębnikach, szczególnie wśród młodzieży męskiej, postanowiły ją zlikwidować. Realizując ten cel, gestapowcy pod przewodnictwem Siberta i Procnera, 23 maja 1941 r. o godz. 20.00 aresztowali ks. Józefa Kowalskiego i 11 innych salezjanów pracujących w parafii oraz w Seminarium przy ul. Tynieckiej 39 w Krakowie.

     Aresztowanych zawieziono do więzienia na Montelupich w Krakowie, skąd po przeszło miesięcznych torturach - mimo iż nie udowodniono im działalności politycznej - skuto ich kajdankami z Żydami i razem z innymi zakładnikami i więźniami wywieziono 26 czerwca 1941 r. do obozu w Oświęcimiu.

     Ks. Józef Kowalski, który jako kleryk pragnął z miłości do Chrystusa cierpieć, nie załamał się ani nie utonął w oceanie cierpienia obozowego. Na drugi dzień po przybyciu do obozu, 27 czerwca 1941 r., zbrodniarze urządzili w karnej kompanii na żwirowisku przed budującym się teatrem potworną masakrę, podczas której na oczach ks. Józefa Kowalskiego w okrutny sposób zamordowali wszystkich przybyłych z nim Żydów oraz czterech z 12 salezjanów: ks. Jana Swierca, ks. Ignacego Dobiasza, ks. Franciszka Harazima i ks. Kazimierza Wojciechowskiego. Po tej wstrząsającej zbrodni ks.

     Józef, zwolniony z innymi jeszcze żyjącymi salezjanami z karnej kompanii, nie tylko napisał do swoich rodziców 29 czerwca 1941 r.: "Bądźcie o mnie spokojni, jestem w ręku Boga", lecz - jak podkreśla naoczny świadek ks. Konrad Szweda - "ks. Józef Kowalski nie załamał się, ale zachował w obozie godność człowieka i kapłana i potrafił być sobą, choć za to był bity, pomagał innym, choć przyjmował za to chłostę i jako gorliwy kapłan, mimo surowego zakazu, rozgrzeszał konających, dodawał odwagi zrezygnowanym, pocieszał psychicznie załamanych, oczekujących wyroku śmierci". O tym bohaterskim, gorliwym kapłanie inny współwięzień, ks. Stanisław Garecki napisał: "Ks. Kowalski do obozu śmierci, w którym - jak mówili kapowie - nie ma Boga, on potrafił współwięźniom przynosić Boga".

     Współwięźniowie, patrząc na gorliwą działalność apostolską księdza Józefa, pytali, skąd czerpał siłę, by nie załamać się w piekle cierpienia i poniżenia obozowego. Bohaterski kapłan moc do wytrwania w dobru i znoszenia prześladowań czerpał z głębokiej wiary oraz z żywego i głębokiego nabożeństwa eucharystycznego i maryjnego, których był żarliwym apostołem nie tylko na wolności, ale również w tragicznych warunkach życia obozowego.

     Jako gorliwy kapłan organizował modlitwy dla małych grup, odprawiał w tajemnicy, na strychach i w piwnicach bloków, Msze św. W białym, papierowym obrusiku roznosił hostie, by udzielać Komunii św. oraz w różnych miejscach, w tajemnicy, słuchał spowiedzi świętej. Ks. Kowalski, spotykając się w obozie z wielkim apostołem maryjnym o. Maksymilianem Kolbe, nie tylko w tajemnicy uczestniczył w nabożeństwach maryjnych, sam je organizował oraz pobożnie odmawiał Różaniec, a nawet w obronie świętego Różańca oddał swoje życie.

     Po rocznych cierpieniach obozowych przygotowywał się z 60 kapłanami i braćmi zakonnymi do wyjazdu do obozu w Dachau. Przed wyjazdem, w łaźni, jeden z największych zbrodniarzy obozu, oficer raportowy Palitzsch spostrzegł, że ks. Józef trzyma coś w ręce. - Co masz w ręce? - krzyczy gestapowiec. Ks. Kowalski milczy. W tej sytuacji Palitzsch uderza go silnie w rękę, z której na ziemię wypada różaniec. - Podepcz to! - krzyczy rozwścieczony oficer. Ks. Kowalski tego nie uczynił. Palitzsch za niewykonanie rozkazu wyłączył go z grupy wyjeżdżającej do Dachau i wcielił do karnej kompanii. Ks. Józef doznał w niej wielu upokorzeń i szykan.

     Dnia 3 lipca 1942 r., który był ostatnim dniem pobytu ks. Józefa w karnej kompanii, kapowie znęcali się nad nim w sposób szczególniejszy. Dla zabawy zrzucili go z nasypu do głębokiego, bagnistego dołu. Po chwili wyciągnęli go, od stóp do głowy ubrudzonego lepkim błotem i bijąc kijem, zaprowadzili do beczki, z której kazali mu wygłosić kazanie. Ks. Józef nie głosił kazania, ale uklęknął na beczce i pobożnie odmówił: "Ojcze nasz", "Zdrowaś Maryjo", "Pod Twoją obronę" i "Witaj Królowo". Słowa modlitwy, szczególnie "Ojcze nasz", zrobiły na wszystkich głębokie wrażenie. Zdenerwowany kapo, Karol Langenhagen, zepchnął brutalnie ks. Józefa z beczki, zbił go, skopał i odesłał do pracy. Zbity, zmaltretowany, ale nie załamany ks. Józef z trudem powrócił na swój blok. gdzie ostatnie chwile życia spędził na jednej pryczy z Zygmuntem Kolankowskim, który szczęśliwie przeżył obóz.

     Według zeznań Zygmunta Kolankowskiego, ks. Józef oraz świadek zdawali sobie sprawę, że po zamordowaniu trzech kolegów z ich pryczy obozowej, na której spali razem od 11 czerwca, nadeszła kolej na nich. W tej sytuacji, 3 lipca 1942 r., po wieczornym apelu, ks. Józef modlił się najpierw na pryczy sam, a potem rzekł do świadka: "Klęknij i módl się ze mną za tych, którzy nas prześladują". Zbity i zmaltretowany ks. Kowalski był przeświadczony, że czas jego całopalnej ofiary się zbliża. Niedługo po odmówionej modlitwie, na sali zapanowało grobowe milczenie.

     Nagle ponurą ciszę przerwało nerwowe, głośne otwarcie drzwi, w których ukazała się siejąca wśród więźniów postrach, śmiercionośna postać sztubowego Mitasa. Na jego widok więźniowie struchleli, gdyż wszyscy wiedzieli, że o tej później porze przychodzi on na salę, by z rozkazu esesmanów wyczytanych więźniów odprowadzić tam, skąd nie ma już powrotu. Przerażeni więźniowie zdziwili się, że wchodzący na salę kapo nie krzyczy ani nie wyczytuje nazwisk, ale powoli przechodzi pomiędzy rzędami prycz, na których więźniowie drżą ze strachu, gdyż żaden z nich nie wie, czy nie zatrzyma się przed nim i nie każe mu iść za sobą. Milczący i tajemniczy kapo idzie jednak dalej, do znanej mu i wyznaczonej ofiary. Kto nią jest? Przed kim się zatrzyma? Komu da rozkaz iść za sobą?

     Wyczekiwanie nie trwa długo, gdyż Mitas zatrzymuje się nagle przed pryczą, na której ks. Józef Kowalski, jak zawsze, odmawia Różaniec. Ks. Józef oraz jego kolega wiedzą, co to znaczy. Przerażeni, w milczeniu czekają, którego z nich zawoła - a może obu?

     Kapo zna osobiście ks. Józefa Kowalskiego, gdyż - po wywiezieniu kapłanów z Oświęcimia do Dachau - jest on jedynym "kapelanem" w obozie oświęcimskim. Stojący przy pryczy kapo nie zapytał ks. Józefa o nazwisko, ale krótko powiedział: "Proszę powstać i pójść za mną!".

     Ks. Józef, słysząc te straszne słowa, zrozumiał, że już nadeszła chwila jego całopalnej ofiary... Na wezwanie sztubowego spokojnie zszedł z pryczy i biorąc do ręki swoją ostatnią kromkę chleba, otrzymaną wieczorem na dzień następny, wręczył ją koledze Zygmuntowi Kolankowskiemu, mówiąc: "Zygmuś, weź ten chleb, bo mnie już nie będzie potrzebny". Odchodząc z Mitasem, powiedział na pożegnanie: "Módlcie się za mnie i moich prześladowców". Po tych słowach, wyszedł za Mitasem nie jak smutny, załamany skazaniec, ale jako pogodny kapłan, idący Bogu składać z siebie krwawą ofiarę. Nie był mu już do niej potrzebny chleb, dlatego z miłości do bliźniego, oddał go koledze, by się nim posilił i wzmocnił na dalszej, trudnej drodze obozowego cierpienia.

     Gdy po odejściu Mitasa i ofiary więźniowie nieco się uspokoili, z ciekawością pytali: Dlaczego zbrodniarz Palitzsch polecił w nocy zabrać ks. Józefa Kowalskiego, którego niedawno, w ostatniej chwili, wycofano z grupy 320 więźniów idących do komory gazowej? Dlaczego zabrano im kapłana, który ich pocieszał i podnosił na duchu? Czy apostolska działalność ks. Józefa, który na rozkaz Palitzscha nie podeptał różańca, doprowadziła zbrodniarza do szału nienawiści, w której postanowił jak najszybciej, w ohydny sposób, zamordować ostatniego gorliwego kapłana przebywającego w obozie oświęcimskim?

     Po wyprowadzeniu ks. Józefa Kowalskiego, oprawcy Gerhard Palitzsch oraz Józef Mitas najpierw swoją ofiarę zbili i skatowali, a następnie, w okrutny sposób, utopili w fekaliach. Zbrodniarze, mordując w nieludzki sposób, z nienawiści do wiary, gorliwego i niewinnego kapłana, chcieli go jak najbardziej upokorzyć, poniżyć, upodlić, po czym zabić i unicestwić. To im się jednak nie udało, gdyż ks. Józef Kowalski, mimo iż został zabity i spalony, to jednak, jak wierzymy, żyje nadal, "pełen nieśmiertelności". Uwieńczywszy bowiem swoją osobistą świętość wspaniałą koroną męczeństwa, zostanie przez Ojca Świętego Jana Pawła II (który znał go osobiście), 13 czerwca 1999 roku w Warszawie, razem ze 108 męczennikami, zaliczony w poczet Błogosławionych Męczenników Kościoła Katolickiego.

"O mój Drogi Jezu, daj mi wolę wytrwania,
stanowczą, silną, bym zdołał wytrwać
przy swoich postanowieniach świętych 
i zdołał dopiąć szczytnego ideału świętości,
jaki sobie zakreśliłem. 
Ja mam być i muszę być świętym!".