По благословению епископа Поликарпа 14 сентября 1859 г. заложена каменная соборная церковь во имя Положения Всечестные Ризы Господа Иисуса Христа. Ее строительство из-за нехватки средств завершили только в 1886 г.
21 июля 1897 г. она была освящена епископом Митрофаном, как соборная Ризоположенская церковь. Новый храм был холодный, пятиглавый. Главный престол освятили во имя Положения Ризы Господней, боковые — во имя Покрова Пресвятой Богородицы и Святителя Чудотворца Николая. При соборе имелись ризница и библиотека. Собор уничтожен в 1930 году.
Источники: 1) Неделин В.М., Ромашов В.М. Архитектурные древности Орловщины (ушедшее). Книга вторая. — Орел: «Вешние воды», 2009. 2) Болхов из глубины веков до наших дней. Книга вторая (дополненная) / Ред. коллегия: В.Н. Поярков, Л.В. Диконова, Ю.И. Фастов и др. — Болхов, 2023.