Местечко Мир впервые упоминается в летописях в 1395 году в связи с набегами крестоносцев. Точная дата начала строительства каменного замка неизвестна. Однако, как полагают некоторые историки, большая его часть была построена в XVI-XVII веках на месте феодальной усадьбы, среди равнин, недалеко от реки Миранки. Основателем Мирского замка считается шляхетский род Ильиничей.
C 1522 по 1526 годы были возведены четыре башни. Они имели форму восьмигранных призм, расположенных на четырехгранных, высотой в пределах 23-25 м. Позже были построены стены длиной около 75 м, которые соединили между собой башни. В результате замок приобрел квадратную форму. Пятая башня была построена посередине западной стены, обращенной на Вильню. Когда-то она служила единственным входом в замок. В ее подвале находилась тюрьма, а на втором этаже — каплица. Отсюда же опускали металлическую решетку, защищавшую деревянные въездные ворота замка. Толщина стен Мирского замка, возведенных трехслойной смешанной кладкой из кирпича и камня, в верхней части достигала 2 м, в нижней - была около 3 м. Стены также имели оружейные бойницы.
В 1569 году Мирский замок переходит в собственность рода Радзивиллов, которые продолжили его строительство. Постепенно он приобрел ренессансные черты. Около замка был насыпан земляной вал высотой около 9 м с укрепленными цитаделями по углам. За ним находился ров, который постоянно пополнялся водой речки Миранки и запруженного Замкового ручья. Теперь внутрь замка можно было попасть только по специальному подъемному мосту, перекинутому через котлован. С этих пор Мирский замок стал постоянной резиденцией графов Радзивиллов. Вскоре во внутреннем дворе крепости у северной и восточной стен был построен трехэтажный дворец по проекту архитектора Мартина Заборовского. Его первый этаж и подземелье использовались в качестве оружейной и склада с продовольствием. Лакеи и вся графская администрация размещались на втором этаже. Третий этаж был отведен под княжеские покои, которые соединялись лестницей и специальным каменным мостом с «итальянским садом». Вдоль южной и западной стен замка были построены одноэтажные служебные постройки.
В 1655 году Мирский замок был захвачен казаками гетмана Ивана Золотаренко. Потом начались войны с Россией, позже со Швецией. В результате неспокойных десятилетий замок был сильно разрушен. Его удалось восстановить лишь спустя 80 лет. В замке появились парадный зал, помещение для танцев и портретная галерея. Был также восстановлен и «итальянский сад».
В 1830-1840 годах Мирский замок переходит к графской семье Витгенштейнов.Никто из них в Мире не бывал. Замок постепенно опустел и начал разрушаться.
В 1891 году имение приобретает военачальник Российской империи Николай Святополк-Мирский. Новый владелец проводит полную реконструкцию своих владений: в усадьбе были построены небольшой дворец и усыпальница, а также разбит сад. Князья Святополк-Мирские пытались реставрировать башни замка и восточный корпус. Также они поставили в замке охрану, чтобы защитить старинное имение от разрушения.
Во время Великой отечественной войны в Мирском замке находилось еврейское гетто.
В 2000 году Мирский замок был внесен в Список памятников всемирного наследия ЮНЕСКО. И через 6 лет началась его активная реконструкция, которая полностью завершилась к концу 2010 года.