У 1900 годзе ў касцёле здарыўся моцны пажар, але ўсё абыйшлося шчасна. У касцёле знайшоў месца цудам ацалелы пры пажары абраз з выявай Божай Маці з блаславёным немаўлём Ісусам на руцэ. У 1937 году касцёл, як рассаднік шпіянажу, зачынілі, а плябан Адольф Кшэвіцкі і іншыя блізкія касцёлу твару зніклі ў засценках Гулага. Арыштавалі нават касцёльную прыбіральніцу 54-летнюю Марціану Казіміраўну Кулакоўскую, якую таксама назвалі шпіёнкай і 9 снежня 1937 года расстралялі ў Барысаве. Знікла і маёмасць касцёла, а будынак стаў выкарыстоўвацца як сховішча рознай казённай маёмасці.
Пасля 1945 года будынак прыстасавалі пад кінатэатр, разбурыўшы пры гэтым характэрныя рысы храмавага збудавання. У 1965 году кінатэатр перамясціўся ў новае адмыслова пабудаваны для яго фундаментальны будынак, касцёл перадалі медыцынскай вучэльні для выкарыстання ў якасці спартыўнай залы. А калі і вучэльня атрымала новы будынак, касцёл стаў пуставаць. Мясцовая ўлада мела намер прыстасаваць яго для музейных экспазіцый і розных выстаў, але да таго часу будынак ужо патрабавала капітальнага рамонту.
24 кастрычніка 1988 года высілкамі каталікоў-энтузіястаў храм вярнулі вернікам.
