Будаўніцтва палаца пачалося ў 1825 году і працягвалася да пачатку ХХ стагоддзя. Палац узводзіўся шляхцічам Ігнатам Булгаком, які падзейнічаў намер пабудаваць сабе рэзідэнцыю, якая зацямніла б сваёй прыгажосцю ўсе радавыя маёнткі ў Беларусі. У адным бакавым крыле быў убудаваны касцёл, у другім — трапічная аранжарэя, якая, не захавалася. Улетку пальмы, кіпарысы і апельсіны высаджвалі ў парку. Аранжарэя рыхтавалася па замове Булгака ў Варшаве. Вялікая ўвага гаспадар надаваў музыцы. Таму ўсе памяшканні палаца адрозніваюцца вылучнай акустыкай.
Палац прайшоў праз усе войны, але ацалеў. У яго не патрапіла ніводная бомба, ён ні разу не гарэў. У 20-е гады тут была школа працоўнай моладзі, у 30-е сельскагаспадарчы тэхнікум. Падчас другой сусветнай вайны фашысты ператварылі палац у шпіталь. А частка парку — у могілкі, дзе хавалі памерлых у шпіталі нямецкіх салдатаў. На першым паверсе вайскоўцы зрабілі пасекі для захоўвання збожжа. На другім змесцаваўся гарнізон. Зараз пра знаходжанне ў палацы фашысцкіх войскаў нішто не нагадвае. Нават могілкі пасля вайны разаралі. У парадных пакоях выдатна захавалася ляпніна на столях і сценах. У гасцінай засталася нават пазалочаная фарба. У добрым стане захаваліся парадныя памяшканні. У 1996 году з”явіўся Жыліцкі музей.
На сённяшні дзень быў рэканструяваны другі паверх, выстаўлена мэбля, люстэркі, карціны. Таксама ў працэсе рэканструкцыі капліца, аранжэрэя, трэці паверх і вежа.