Гісторыя храма каранямі сыходзіць у часы Сярэднявечча. У канцы XV стагоддзя ўладаром Валожына стаў адзін з найбуйнейшых дзяржаўных дзеячаў Вялікага Княства Літоўскага Ольбрыхт (Альбрэхт) Гаштольд. У 1492 годзе багаты землеўладальнік заснаваў першы драўляны храм у імя Святога Іосіфа.
Другі будынак касцёла, а таксама манастыр бернардынцаў з`явіліся тут ў 1681 годзе пры кашталяне Віленскім Юзэфе Багуславе Слушке. Ён пасяліў у манастыры шаснаццаць манахаў, забяспечыў іх неабходнымі рэчамі. Неўзабаве з`явілася бібліятэка на некалькі сотняў кніг, адкрылася прыходская школа.
Усё гэта знішчыў пажар ў 1730 годзе. Праз год жонка Полацкага ваяводы, чарговая ўладальніца Валожына Марыя Даенгоф, ахвяравала буйную суму на пабудову новага храма.
Пасля ліквідацыі кляштара царскімі ўладамі касцёл ў 1864 годзе пераасвяцілі ў праваслаўны храм. У савецкі час будынак доўгія гады эксплуатаваўся для вытворчых патрэб. Пасля рэстаўрацыі ў 2000-х гадах, упартымі працамі вернікаў, будынак быў вернут да жыцця як каталіцкі касцёл.
Будынак касцёла прастакутны ў плане з шасцікалонным франтонам і порцікам дарычнага ордэра. Плоскасць фасада раздзеленая чатырма паўкруглымі арачнымі нішамі, дзе раней знаходзіліся гіпсавыя статуі евангелістаў. Каля касцёла, у мініяцюры паўтараючы яго архітэктуру, размясцілася брама-званіца на тры званы ў выглядзе масіўнай аркі з чатырохкалонным порцікам дарычнага ордэра. Падчас Першай сусветнай вайны званы былі прыбраны.
Сёння гонар вернікаў і настаяцеля - вытанчаная званіца, збудаваная ў адпаведнасці са старадаўнімі малюнкамі касцёла. Сэрцам гэтага абноўленага архітэктурнага збудавання стаў маленькі звон прывезены з Польшчы.
