Тут праходзілі генеральныя сеймы Рэчы Паспалітай. У гэтым будынку ў час апошняга сейма Рэчы Паспалітай у 1793 годзе было падпісана пагадненне аб падзеле Рэчы Паспалітай Расіяй і Прусіяй, а ў 1795 годзе кароль і Вялікі князь Літоўскі Станіслаў Аўгуст Панятоўскі паставіў подпіс пад актам адрачэння. Кароль жыў у ім да 1797 года. У адной частцы палаца знаходзіліся каралеўскія пакоі, у а другой - памяшканні, прызначаныя для пасяджэнняў сейма. Пасля 1750 пабудавана капліца, крытая купалам, часткова захаваліся таксама ўязныя вароты.
Падчас падзелаў Рэчы Паспалітай рускія наладзілі ў палацы шпіталь і казармы.У 1941 годзе будынак быў нішчана ў выніку ваенных падзе1й. В 1952 замак перабудаваны і адноўлены архітэктарам В. Вараксіным ў класічным стылі.
Арыгінальны выгляд захаваўся толькі ў ўязных варот і скульптуры сфінксаў. З 1950 па 1990 гады тут размяшчаўся Гродзенскі абласны камітэт КПБ, а з 1990 года размяшчаецца гісторыка-археалагічны музей і абласная бібліятэка імя Карскага.
