Строительство дворца началось в 1825 году и продолжалось до начала ХХ века. Дворец возводился шляхтичем Игнатием Булгаком, который возымел намерение построить себе резиденцию, затмившую бы своей красотой все родовые имения в Беларуси. В одном боковом крыле был встроен костел, во втором — тропическая оранжерея, которая, не сохранилась. Летом пальмы, кипарисы и апельсины высаживали в парке. Оранжерея готовилась по заказу Булгака в Варшаве. Большое внимание хозяин уделял музыке. Поэтому все помещения дворца отличаются исключительной акустикой.
Дворец прошел через все войны, но уцелел. В него не попала ни одна бомба, он ни разу не горел. В 20-е годы тут была школа рабочей молодежи. В 30-е сельхозтехникум. Во время второй мировой войны фашисты превратили дворец в госпиталь. А часть парка — в кладбище, где хоронили умерших в госпитале немецких солдат. На первом этаже военные сделали засеки для хранения зерна. На втором разместился гарнизон. Теперь о пребывании во дворце фашистских войск ничто не напоминает. Даже кладбище после войны распахали. В парадных комнатах отлично сохранилась лепнина на потолках и стенах. В гостиной осталась даже золоченая краска. В хорошем состоянии сохранились парадные помещения. В 1996 году появился Жиличский музей.
На сегодняшний день был реконструирован второй этаж, выставлена мебель, зеркала, картины. Также в процессе реконструкции каплица, оранжерея, третий этаж и башня.
