Капліца Святога Яна Непамука была ўзведзена ў сярэдзіне ХІХ стагоддзя на месцы драўлянай. Пабудавана яна з бутавага каменя і ўяўляла сабой квадратны ў палне аб'ём без вокнаў. Для будаўніцтва разам са звычайнымі валунамі выкарыстоўваліся надмагільныя камяні, якія заставаліся ад ранейшых закінутых пахаванняў. Пазней, у 1920-я гады быў прыбудаваны з цэглы і атынкаваны тамбур ў стылі мадэрн.
Будаўніцтва капліцы звязваюць са смерцю аднаго з прадстаўнікоў шляхецкага роду Валадковічаў - уладальнікаў маёнтка Новы Двор (1863 г.). Аляксандр Валадковіч, адзін з кіраўнікоў паўстання 1830-1831 гг., памёр у Парыжы і быў пахаваны на знакамітых могілках Пер-Лашез. Але сэрцам ён хацеў заставацца на Радзіме. І, згодна з воляй памерлага, сэрца яго было перавезена і пахавана ў спецыяльна пабудаванай для гэтай мэты капліцы ў Радашковічах.
Вайны, а ў далейшым і савецкі нашэсце ня пашкадавалі капліцу - яна засталася без даху і дзвярэй.
Толькі ў 2008-2009 гг. дзякуючы святару Радашковіцкага касцёла Святой Тройцы Валянціну Станкевічу капліца Святога Яна Непамука была адноўлена.