Здесь проходили генеральные сеймы Речи Посполитой. В этом здании во время последнего сейма Речи Посполитой в 1793 году было подписано соглашение о разделе Речи Посполитой Россией и Пруссией, а в 1795 году король и Великий князь Литовский Станислав Август Понятовский поставил подпись под актом отречения. Король жил в нём до 1797 года. В одной части дворца находились королевские покои, в а другой — помещения, предназначенные для заседаний сейма. После 1750 года построена часовня, крытая куполом, частично сохранились также въездные ворота.
Во время разделов Речи Посполитой русские устроили во дворце госпиталь и казармы. В 1941 году здание было уничтожено в результате военных действий. В 1952 году замок перестроен и восстановлен архитектором В. Вараксиным в классическом стиле.
Оригинальный вид сохранился только у въездных ворот и скульптуры сфинксов. С 1950 по 1990 годы здесь размещался Гродненский областной комитет КПБ, а с 1990 года располагается историко-археологический музей и областная библиотека имени Карского.
