Po 1945 r. bp Kaczmarek sprzeciwiał się urzędowej ateizacji prowadzonej przez komunistów. Za to został brutalnie zaatakowany. Rozpowszechniano kłamliwe informacje o jego współpracy z Niemcami w czasie okupacji i oskarżano o współudział w organizacji pogromu żydowskiej ludności Kielc w 1946 r. oraz o kontakty z amerykańskim wywiadem. W 1951 r. został aresztowany.

Przeszedł brutalne, trwające 2 lata i 8 miesięcy śledztwo. Znęcano się nad nim fizycznie i psychicznie. Przesłuchania trwały nieraz po 30, 40 godzin bez przerwy. Był pozbawiany snu i jedzenia, podawano mu środki odurzające. Po pokazowym procesie w 1953 r. został skazany na 12 lat więzienia.

Gdy w 1957 r. wracał do diecezji, witały go tysiące kielczan. Ponieważ stawał w obronie prześladowanego Kościoła, był szykanowany aż do śmierci. Zmarł w 1963 r. W 1990 r. został pośmiertnie zrehabilitowany,a w 2007 r. odznaczony Krzyżem Wielkim Orderu Odrodzenia Polski.