Замок был неоднократно разрушен и перестроен, что значительно изменило его внешний вид и объёмно-пространственную композицию (утрачены галереи, декоративное оформление стен, пристроены к северо-западному и юго-восточному корпусам две пятигранные башенки). В результате обследования памятника в 1981-83 годах архитектурно-археологической экспедицией Специальных научно-реставрационных мастерских Министерства культуры выявлены 3 разновременных этапа строительства, отличающихся характером использованного кирпича, известкового раствора и техникой кладки.
Плохая сохранность замка в Гольшанах не позволяет достаточно полно определить его планировку. Можно только утверждать, что справа от входа находилась большая квадратная зала с четырьмя колоннами, на которые опирались крестовые своды.
Уже в ХVII веке Гольшанский замок от Сапег перешёл к другим хозяевам, и на протяжении столетий часто переходил из рук в руки. В 1880 году владелец замка Горбанёв начал взрывать башни и стены, а кирпич продавать на постройку корчмы.
До начала Первой мировой войны в замке ещё жили люди, а после Великой Отечественной войны остатки жилых помещений были окончательно разобраны для постройки необходимых местному колхозу свинарников и дома культуры.
В 2018 году проведена гидроизоляция фундамента, восстановлены стены Северной башни, а также оконные и дверные проёмы. Стены башни для укрепления были стянуты спиралевидными стержнями, межъярусные перекрытия — укреплены, а наверху установлена крыша с флюгером. Осуществляется реконструкция фрагментов стен, прилегающих к башне.
6 мая 2021 года произошло торжественное открытие Северной башни Гольшанского замка и туристическо-информационного центра при нём.
