Мястэчка Свет упершыню згадваецца ў летапісах у 1395 годзе ў сувязі з набегамі крыжакоў. Дакладная дата пачатку будаўніцтва мураванага замка невядомая. Аднак, як мяркуюць некаторыя гісторыкі, большая яго частка была пабудавана ў XVI—XVII стагоддзях на месцы феадальнай сядзібы, сярод раўнін, недалёка ад ракі Міранкі. Заснавальнікам Мірскага замка лічыцца шляхецкі род Іллінічаў.
C 1522 па 1526 гады былі ўзведзены чатыры вежы. Яны мелі форму васьмігранных прызмаў, размешчаных на чатырохгранных, вышынёй у межах 23-25 м. Пазней былі пабудаваны сцены даўжынёй каля 75 м, якія злучылі паміж сабой вежы. У выніку замак набыў квадратную форму. Пятая вежа была пабудавана пасярэдзіне заходняй сцяны, звернутай на Вільню. Калісьці яна служыла адзіным уваходам у замак. У яе падвале знаходзілася турма, а на другім паверсе - капліца. Адсюль жа апускалі металічную рашотку, якая бараніла драўляную ўязную браму замка. Таўшчыня сцен Мірскага замка, збудаваных трохслаёвым змяшаным мурам з цэглы і каменя, у верхняй частцы дасягала 2 м, у ніжняй - была каля 3 м. Сцены таксама мелі зброевыя байніцы.
У 1569 годзе Мірскі замак пераходзіць ва ўласнасць роду Радзівілаў, якія працягнулі яго будаўніцтва. Паступова ён набыў рэнесансныя рысы. Каля замка быў насыпаны земляны вал вышынёй каля 9 м з умацаванымі цытадэлямі па кутах. За ім знаходзіўся роў, які ўвесь час папаўняўся вадой рэчкі Міранкі і запружанага Замкавага ручая. Цяпер унутр замка можна было патрапіць толькі па спецыяльным пад'ёмным мосце, перакінутым праз катлаван. З гэтага часу Мірскі замак стаў пастаяннай рэзідэнцыяй графаў Радзівілаў. Неўзабаве ва ўнутраным двары крэпасці ля паўночнай і ўсходняй сцен быў пабудаваны трохпавярховы палац па праекце архітэктара Марціна Забароўскага. Яго першы паверх і падзямелле выкарыстоўваліся ў якасці зброевай і склада з харчаваннем. Лакеі і ўся графская адміністрацыя размяшчаліся на другім паверсе. Трэці паверх быў адведзены пад княжыя пакоі, якія злучаліся лесвіцай і спецыяльным каменным мастом з «італьянскім садам». Уздоўж паўднёвай і заходняй сцен замка былі пабудаваны аднапавярховыя службовыя пабудовы.
У 1655 годзе Мірскі замак быў захоплены казакамі гетмана Івана Залатарэнкі. Потым пачаліся войны з Расіяй, пазней са Швецыяй. У выніку неспакойных дзесяцігоддзяў замак быў моцна разбураны. Яго ўдалося аднавіць толькі праз 80 гадоў. У замку з'явіліся парадная зала, памяшканне для танцаў і партрэтная галерэя. Быў таксама адноўлены і «італьянскі сад».
У 1830-1840 гадах Мірскі замак пераходзіць да графскай сям'і Вітгенштэйнаў.Ніхто з іх у Міры не бываў. Замак паступова апусцеў і пачаў разбурацца.
У 1891 годзе маёнтак набывае военачальнік Расійскай імперыі Мікалай Святаполк-Мірскі. Новы ўладальнік праводзіць поўную рэканструкцыю сваіх уладанняў: у сядзібе былі пабудаваны невялікі палац і магільны склеп, а таксама разбіты сад. Князі Святаполк-Мірскія спрабавалі рэстаўраваць вежы замка і ўсходні корпус. Таксама яны паставілі ў замку ахову, каб абараніць старажытны маёнтак ад разбурэння.
Падчас Вялікай айчыннай вайны ў Мірскім замку знаходзілася габрэйскае гета.
У 2000 годзе Мірскі замак быў унесены ў Спіс помнікаў сусветнай спадчыны ЮНЕСКА. І праз 6 гадоў пачалася яго актыўная рэканструкцыя, якая поўнасцю завяршылася да канца 2010 года.
