В 1900 году в костеле случился сильный пожар, но все обошлось благополучно. В костеле нашла место чудом уцелевшая при пожаре икона с образом Божьей Матери с благословенным младенцем Иисусом на руке. В 1937 году костел, как рассадник шпионажа, закрыли, а настоятель Адольф Кшевицкий и другие близкие костелу лица исчезли в застенках ГУЛАГа. Арестовали даже костельную уборщицу 54-летнюю Марциану Казимировну Кулаковскую, которую также назвали шпионкой и 9 декабря 1937 года расстреляли в Борисове. Исчезло и имущество костела, а здание стало использоваться как хранилище разного казенного имущества.
После 1945 года здание приспособили под кинотеатр, разрушив при этом характерные черты храмового сооружения. В 1965 году кинотеатр переместился в новое специально построенное для него фундаментальное здание, а освободившийся костел передали медицинскому училищу для использования в качестве спортивного зала. А когда и училище получило новое здание, костел стал пустовать. Местная власть имела намерение приспособить его для музейных экспозиций и разных выставок, но к тому времени здание уже требовало капитального ремонта.
24 октября 1988 года усилиями католиков-энтузиастов храм вернули верующим.
