Дворец в Коссово был построен в 1838-м году в готическом стиле под руководством архитектора Франтишека Яшчольда из Варшавы. За внутренний интерьер Коссовского замка отвечал итальянский художник Маркони.
Строительство дворца начал помещик Казимир Пусловский, затем продолжил его наследник - крупный промышленник Вандалин Пусловский. Однако далее судьба Коссовского замка складывалась непросто. Леон Пусловский, сын Вандалина, проиграл родовое имение в карты местному аристократу. После этого Коссовский замок постоянно менял своих хозяев и постепенно утратил свое величие и роскошь.
В 1914 году дворец Пусловских был полностью разграблен, а во время Великой отечественной войны его подожгли советские партизаны, пытаясь таким образом воспрепятствовать созданию фашистской засады на территории некогда процветавшего имения.
Коссовский замок состоит из 12 башен, каждая из которых символизирует определенный месяц года. Дворец изначально был сконструирован таким образом, что ежегодно два с половиной дня солнце освещало одну из его комнат. Уникальная система внутренних коридоров и окон позволяла солнечным лучам проникать во все уголки Коссовского замка. Согласно местной легенде, помещики Пусловские устраивали «день комнаты»: помещение торжественно украшали, как только оно наполнялось солнечным светом.
Во дворце Пусловских было более 100 комнат. В одной из них, как свидетельствуют некоторые историки, был стеклянный пол, под которым размещался аквариум с плавающими рыбками. Дворец славился своей библиотекой, где хранились более 10 тысяч книг. Существует легенда, что хозяева замка держали льва, чтобы бороться с воровством среди прислуги. Каждую ночь его спускали с привязи и разрешали бесшумно бродить по коридорам дворца, безмолвно охраняя имущество хозяев.
До наших дней сохранились лишь стены некогда процветающего имения Пусловских. В настоящее время проводится реконструкция Коссовского замка, который является республиканской собственностью и находится под защитой государства.