27 мая 1895 года опеределён быть епископом Михайловским, викарием Рязанской епархии. 11 июня 1895 года в Свято-Троицком соборе Александро-Невской Лавры состоялась его епископская хиротония. Получил в управление Рязанский Спасский монастырь[5].
В мае 1896 года назначен управляющим Рязанским Троицким монастырем[5].
22 ноября 1896 года указом Святейшего Синода на епископа Полиевкта было возложено управление Рязанской епархией до прибытия 18 февраля 1897 из Якутской епархии епископа Рязанского и Зарайского Мелетия (Якимова)[2].
24 августа 1899 года епископу Михайловскому Полиевкту «поручено управление Рязанской епархией в течение сентября и половины октября того же года за выбытием Преосвященнаго Мелетия в Ялту для лечения»[2].
22 января 1900 года назначен епископом Рязанским и Зарайским[1].
В день 26 мая 1901 года совершил поездку в Ольгов монастырь на освящение возобновленного и древнего Успенского храма[6].
В сентябре того же года Полиевкт освятил женскую Александро-Невскую богадельню при селе Щурове Ряжского уезда[6].
В августе 1902 года в Рязани очень торжественно отмечался 200-летний юбилей Успенского кафедрального собора. Торжества начались 13 августа заупокойным всенощным бдением, на котором возносились моления всем потрудившимся в создании и благоукрашении величественного собора. В торжествах принял участие начальник губернии шталмейстер Двора Его Величества Н. С Брянчанинов[6].
7 ноября 1902 года уволен на покой «по расстроенному здоровью» с местожительством в Николае-Радовицком монастыре[2].
5 февраля 1903 года перемещён в Московский Ново-Спасский монастырь, куда прибыл 27 февраля. Являлся на тот момент старейшим иерархом Русской церкви[7].
Скончался 7 апреля 1906 года в Московском Ново-Спасском монастыре. Заупокойную Божественную литургию совершил Нестор (Метаниев), член Московской синодальной конторы. 9 апреля состоялось его соборное отпевание, которое совершили митрополит Московский и Коломенский Владимир (Богоявленский), епископ Дмитровский Трифон (Туркестанов), епископ Иоанн (Кратиров). По окончании богослужения гроб с телом почившего иерарха с подобающими почестями обнесли вокруг собора и после краткой литии опустили в могилу.