Улічваючы асаблівасці рэльефу мясцовасці, дойлідам удалося пабудаваць у Лідзе сапраўдную абарончую крэпасць, прызначаную для пастаяннага пражывання феадала. Пазней у замку з”явіліся праваслаўная царква, а таксама жылыя і гаспадарчыя пабудовы.
У 1325 годзе на насыпным пясчаным узгорку вышынёй 5-6 м, акружаным балоцістымі рэкамі Лідзея і Каменка, стаў ўзвышацца замак Гедыміна. Абарончая крэпасць, прытрымліваючыся сярэднявечных традыцый, была пабудавана ў форме чатырохвугольніка, але замест дрэва ўжо выкарыстоўваліся бутавы камень і цэгла. Яна мела 2 вуглавыя вежы. Таўшчыня сцен, даўжынёй да 80 м, у падмурку дасягала 2 м, а зверху была каля 1,5 м. З паўночнага боку замка знаходзіўся роў шырынёй каля 20 м, якi абараняў крэпасць ад няпрошаных гасцей, а на ўсходнім баку з`явілася возера. На паўднёвай сцяне замка былі зроблены байніцы, прызначаныя для стральбы з лукаў і арбалетаў, а пазней з лёгкай агнястрэльнай зброі.
Замак Гедыміна пастаянна ахоўваўся невялікім гарнізонам. Таму ўнутры крэпасці нярэдка знаходзілі прытулак жыхары не толькі горада, але і суседніх паселішчаў.
Пасля смерці Гедыміна Ліда стала сталіцай надзелу князя Альгерда, а потым яго сына Ягайлы. Між князямі пачаліся міжусобныя войны за вялікакняскі пасад, чым і скарысталіся крыжакі. У 1384 годзе пасля працяглай аблогі і штурму яны захапілі замак. На працягу XIV-XVIII стагоддзяў абарончая крэпасць ратавала мясцовае насельніцтва ад нападаў ворагаў. Але ў 1891 годзе ў Лідзе здарыўся пажар, які знішчыў увесь цэнтр горада. Мясцовыя ўлады пачалі разбіраць крэпасць і распрадаваць яе па частках, выкарыстоўваючы атрыманыя сродкі для аднаўлення Ліды. З адхонаў замкавага пагорка бралі пясок. У той час былі амаль цалкам знішчаны рэшткі паўднёва-заходняй вежы і разабрана частка заходняй сцяны. У 1920-я гады робяцца першыя спробы рэстаўрацыі замка Гедыміна. У 1953 годзе Лідская крэпасць ўвайшла ў спіс помнікаў архітэктуры, узятых пад ахову дзяржавы.
Сёння замак адкрыты для турыстаў круглы год. Улетку тут традыцыйна праходзяць тэатралізаваныя паказы і рыцарскія турніры. З 2005 года праводзіцца Міжнародны фестываль сярэднявечнай культуры «Замак Гедыміна».
