В ноябре 1893 года состоялось наречение во епископа, а 10 апреля 1894 года хиротонисан во епископа Балахнинского, викария Нижегородской епархии[1]. Традиционно для викария, он возглавил Епархиальный училищный совет.
10 августа 1896 года — епископ Вятский и Слободский.
Оставил после себя добрую память. Стал инициатором канонизации Прокопия Вятского. 21 мая (3 июня) 1897 года после литургии в селе Бобино был совершён крестный ход в деревню Митино, на родину блаженного Прокопия. 17/30 сентября 1898 года еписклп Алексий лично освятил первый на Вятской земле храм, посвященный блаженному. Приезжавший через несколько лет в Вятку Иоанн Кронштадтский, увидев портрет владыки, тепло отозвался о нём: «Мой знакомый, добрый симпатичный епископ»[4].
С 10 ноября 1901 года — Экзарх Грузии, архиепископ Карталинский и Кахетинский со званием члена Святейшего Синода[1].
В том же году избран Советом Казанской духовной академии почетным её членом[1].
С 1 июля 1905 года — архиепископ Тверской и Кашинский.
По его инициативе собирались подписи для ходатайства об открытии мощей Анны Кашинской. По сообщению «Самарских епархиальных ведомостей» епископ Алексий прислал в дар епископу Самарскому Симеону частицу нетленных мощей Анны Кашинской[1].
29 января 1910 года уволен на покой, согласно прошению, по болезни, но с оставлением его в звании члена Святейшего Синода, с возложением на него обязанностей члена Московской Синодальной Конторы сверх штата[1]. 8 февраля в Тверском кафедральном соборе состоялась его прощальная литургия[3].
Неоднократно настойчиво высказывался за необходимость созыва Поместного собора[3].
Проживал в Донском монастыре в Москве, где и умер 20 декабря 1914 года. Погребён там же.