Будынак складаецца з двух карпусоў. Галоўны, трохпавярховы, корпус пабудаваны на мяжы 1760 – 1770 гадоў у стылі класіцызму і прыналежаў прыватным асобам. У канцы ХVIII стагоддзя ў ім месцаваўся дваранскі збор. У 1811 году да трохпавярховага корпуса ўздоўж ракі зрабілі двухпавярховую прыбудову, у якой бачныя рысы позняга класіцызму (архітэктар Ф. Санкоўскі). У галоўным корпусе на першым паверсе знаходзіўся вестыбюль з цэнтральнымі ўсходамі, абапал месцаваліся чатыры невялікіх памяшканні і пакой для прыслугі. На другім паверсе – службовыя памяшканні губернатара: прыёмная, кабінет, гасціная. Трэці паверх цалкам адводзіўся для асабістых апартаментаў губернатара і яго сем і. У двухпавярховым крыле на першым паверсе знаходзіліся службовыя памяшканні і канцылярыя губернатара, на другім – вялікая зала для правядзення канцэртаў, спектакляў, баляў.
Гісторыя палаца злучана са шматлікімі падзеямі і імёнамі выбітных людзей. Польскі балетмайстар М. Піон ставіў ў зале палаца свае спектаклі. Напачатку XX стагоддзя ў палацы танчыла найвядомая амерыканка Айседора Дункан.
Палацавая плошча з яўлялася самай дагледжанай гарадской плошчай. Яна не была падобная на іншыя. Палацавы комплекс дамінаваў і падкрэсліваў сваё прызначэнне, у ім адчуваліся сіла і спакой, гараджане любілі прыходзіць сюды паглядзець на фантан, паслухаць духавую музыку, пасядзець на лавачках уздоўж Дзвіны.
