Роскошный дворец был летней резиденцией былых владельцев города - графского рода Чернышёвых-Кругликовых. Его посещали Екатерина II, Николай I и Александр II.
На сегодняшний день здание сохранилось плохо. О былой красоте и величии свидетельствуют балконы и летняя терраса с чугунным литьём.
В настоящее время в здании расположились художественная мастерская и центр ремёсел, этнографии и фольклора.