Архітэктура царквы не мае аналагаў сярод захаваўшыхся будынкаў і нагадвае кампазіцыю больш ранняга гарадзенскага сабора - Ніжняй царквы, вядомай па археалагічных даследаваннях.
Храмы гродзенскай школы дойлідства па планіроўцы ўяўлялі сабой цалкам традыцыйныя трохапсідны крыжова-купальныя царквы. Яны будаваліся з плінфы з выкарыстаннем у муры гранітных валуноў. Знадворныя сцены Каложскай царквы (і як мяркуюць Ніжняй і Прачысценскай таксама) дэкаравалі каляровымі маёлікавымі пліткамі, выкладзенымі ў выглядзе крыжа. Пол храма таксама рабіўся з рознакаляровых маёлікавых пліт. У сцены, для палягчэння канструкцыі і паляпшэння акустыкі, ўмуроўваліся пустыя збаны - галаснікі, вонкі якіх выступалі над унутранай паверхняй сцен, што рабіла немагчымай іх роспіс фрэскамі (як было прынята). Царквы знадворку не тынкаваліся.
Пасля Брэсцкага сабора 1596 пры царкве ствараецца Каложскі базыльянскі (уніяцкі) манастыр. А далей храм становіцца ахвярай прыроды. К 1720 падмыў высокага пагорка, на якім стаіць Каложа, Нёманам прывёў да нахілу будынка. А ў ноч з 1 на 2 красавіка 1853 года паўднёвая і частка заходняй сцяны абваліліся ў раку. Яшчэ адзін абвал здарыўся ў 1889 годзе.
У 1897 бераг ўмацавалі, на месцы згубленых сцен паставілі драўляныя.
