По инициативе влиятельного магната и вельможа Великого княжества Литовского Яна Кишка в 1581 году в Любче на насыпном холме площадью около 0.7 га был построен замок. Все его строения, за исключением одной каменной башни на въезде, были деревянными. Территория замка с трех сторон была очерчена рвом глубиной до 10 м, с четвертой же стороны его ограждали воды Немана.
В конце XVI века Николай Радзивилл стал новым владельцем замка. Князь решил его перестроить: появились три каменные башни и каменные внутренние постройки. Это позволило превратить замок в полноценную оборонительную крепость.
В середине XVII века хозяином Любчанского замка стал талантливый полководец, Великий гетман литовский Януш Радзивилл, который прославился во время войны с казаками Богдана Хмельницкого в 1648—1651 годах. Однако войска гетмана Ивана Золотаренко в 1655 году захватили и сожгли Любчанский замок, разрушив две башни. После этого он навсегда утратил своё значение и как военное укрепление, и как одна из резиденций Радзивиллов.
С тех пор замок неоднократно менял владельцев. В XIX веке были снесены последние внутренние постройки. Вместо них, рядом с двумя сохранившимися башнями, был возведён двухэтажный дворец в стиле английской неоготики.
До наших дней из четырех башен, сложенных из кирпича и валунов, сохранились только две. В 1964 году при школе, занимавшей здание замка, был организован краеведческий музей.
