Здание состоит из двух корпусов. Главный, трехэтажный, корпус построен на рубеже 1760 – 1770 годов в стиле классицизма и принадлежал частным лицам. В конце ХVIII века в нем размещалось дворянское собрание. В 1811 году к трехэтажному корпусу вдоль реки сделали двухэтажную пристройку, в которой видны черты позднего классицизма (архитектор Ф. Санковский). В главном корпусе на первом этаже находился вестибюль с центральной лестницей, с обеих сторон размещались четыре небольших помещения и комната для прислуги. На втором этаже – служебные помещения губернатора: приемная, кабинет, гостиная. Третий этаж целиком отводился для личных апартаментов губернатора и его семьи. В двухэтажном крыле на первом этаже находились служебные помещения и канцелярия губернатора, на втором – большой зал для проведения концертов, спектаклей, балов.
История дворца связана со многими событиями и именами выдающихся людей. Польский балетмейстер М. Пион ставил в зале дворца свои спектакли. В начале XX века во дворце танцевала известнейшая американка Айседора Дункан.
Дворцовая площадь являлась самой ухоженной городской площадью. Она не была похожа на другие. Дворцовый комплекс доминировал и подчеркивал свое назначение, в нем чувствовались сила и спокойствие, горожане любили приходить сюда посмотреть на струящуюся воду фонтана, послушать духовую музыку, посидеть на скамеечках вдоль Двины.
