Будаўніцтва палаца пачаў памешчык Казімір Пуслоўскі, затым працягнуў яго спадчыннік - буйны прамысловец Вандалін Пуслоўскі. Аднак далей лёс Косаўскага замка складалася няпроста. Лявон Пуслоўскі, сын Вандаліна, прайграў радавы маёнтак у карты мясцоваму арыстакрату. Пасля гэтага Косаўскі замак пастаянна мяняў сваіх гаспадароў і паступова страціў сваю веліч.
У 1914 годзе палац Пуслоўскіх быў цалкам разрабаваны, а падчас Вялікай айчыннай вайны яго падпалілі савецкія партызаны, спрабуючы такім чынам перашкодзіць стварэнню фашысцкай засады на тэрыторыі некалі магутнага маёнтка.
Косаўскі замак складаецца з 12 вежаў, кожная з якіх сімвалізуе пэўны месяц года. Палац першапачаткова быў сканструяваны такім чынам, што кожны год два з паловай дня сонца асвятляла адзiн з яго пакояў. Унікальная сістэма ўнутраных калідораў і вокнаў дазваляла сонечным праменям пранікаць ва ўсе куткі Косаўскага замка. Згодна з мясцовай легендай, памешчыкі Пуслоўскія адзначалі «дзень пакоя»: памяшканне ўрачыста ўпрыгожвалі, як толькі яно напаўнялася сонечным святлом.
У палацы Пуслоўскіх было больш за 100 пакояў. У адным з іх, як сведчаць некаторыя гісторыкі, была шкляная падлога, пад якой размяшчаўся акварыум з рыбкамі. Палац славіўся сваёй бібліятэкай, дзе захоўваліся больш за 10 тысяч кніг. Існуе легенда, што гаспадары замка трымалі льва, каб змагацца з крадзяжом сярод прыслугі. Кожную ноч яго спускалі з прывязі і дазвалялі бясшумна блукаць па калідорах палаца, моўчкі ахоўваючы маёмасць гаспадароў.
Косаўскі палац быў моцна пашкоджаны падчас Вялікай Айчыннай вайны. Яго спалілі савецкія партызаны з-за боязі, што фашысты могуць арганiзаваць ў ім засаду. Да нашых дзён захаваліся толькі сцены некалі квітнеючага маёнтка Пуслоўскіх. У цяперашні час праводзіцца рэканструкцыя Косаўскага замка, які з”яўляецца рэспубліканскай уласнасцю і знаходзіцца пад абаронай дзяржавы.
