В XIV веке усилились набеги крестоносцев на Восточную Европу. Стремясь защитить свои земли от вторжений, правители Великого княжества Литовского начали возводить укрепленные замки вдоль границ своих владений. В 1323 году князь Гедимин отдал приказ построить в Лиде каменную крепость, которая бы преграждала рыцарям-крестоносцам путь в глубь земель Великого княжества Литовского. Несколько лет потребовалось, чтобы возвести Лидский замок - оборонительный форпост принеманских земель, который вошел в линию крепостных укреплений Новогрудок-Крево-Медники-Троки.
Учитывая особенности рельефа местности, зодчим удалось построить в Лиде настоящую оборонительную крепость, предназначенную для постоянного проживания феодала. Позже в замке появились православная церковь, а также жилые и хозяйственные постройки.
В 1325 году на насыпном песчаном холме высотой 5-6 м, окруженном болотистыми реками Лидея и Каменка, стал возвышаться замок Гедимина. Оборонительная крепость, следуя средневековым традициям, была построена в форме прямоугольника, но вместо дерева уже использовались бутовый камень и кирпич. Она имела две угловые башни. Толщина стен, длиной до 80 м, в основании достигала 2 м, а сверху была около 1,5 м. С северной стороны замка находился ров шириной около 20 м, защищавший крепость от непрошеных гостей, а на восточной стороне вскоре появилось искусственное озеро. На южной стене замка были сделаны бойницы, предназначенные для стрельбы из луков и арбалетов, а позже из легкого огнестрельного оружия.
Замок Гедимина постоянно охранялся небольшим гарнизоном. Поэтому внутри крепости нередко находили пристанище жители не только города, но и соседних селений.
После смерти Гедимина Лида стала столицей удела князя Ольгерда, а потом его сына Ягайлы. Между князьями начались междоусобные войны за великокняжеский престол, чем и воспользовались крестоносцы. В 1384 году после продолжительной осады и штурма они захватили замок. На протяжении XIV-XVIII веков оборонительная крепость спасала местное население от нападений врагов. Но в 1891 году в Лиде случился пожар, уничтоживший весь центр города. Местные власти начали разбирать крепость и распродавать ее по частям, используя полученные средства для восстановления Лиды. С откосов замкового холма брали песок. В то время были почти полностью уничтожены остатки юго-западной башни и разобрана часть западной стены. В 1920-е годы предпринимаются первые попытки реставрации замка Гедимина. В 1953 году Лидская крепость вошла в список памятников архитектуры, взятых под охрану государства.
Сегодня замок открыт для туристов круглый год. Летом здесь традиционно проходят театрализованные представления и рыцарские турниры. С 2005 года проводится Международный фестиваль средневековой культуры «Замок Гедимина».
