3 февраля 1891 года хиротонисан во епископа Ковенского, викария Литовской епархии, в Санкт-Петербурге.
С 22 ноября 1892 года — епископ Туркестанский и Ташкентский.
Его усилиями в Туркестан прибыло пополнение местного духовенства.
Предпринял попытку организовать миссию среди имевшихся в Кыргызстане язычников, однако инициатива была пресечена указом генерал-губернатора Вревского о «передаче религиозных дел кара-киргизов в ведение сартского (то есть узбекского) мусульманского духовенства»[3].
Преосвященный Григорий был человек прямой, но невыдержанный. Благодаря последнему обстоятельству у него было много столкновений с генерал-губернатором бароном А. Б. Вревским, который любил вторгаться в неподведомственную ему область православного духовенства, как и его предшественник. Особенно крупные недоразумения вышли по поводу назначения К. Н. Богородицкого на должность протоирея военного собора в городе Ташкенте в 1893 году[4].
С 18 февраля 1895 года — епископ Омский и Семипалатинский. В Омск прибыл 27 мая (8 июня) 1895 года[5].
Сразу же по приезде в епархию проявил себя как энергичный храмоздатель. Прежде всего, целый ряд часовен превращаются его усилиями в храмы.
В 1898 году по инициативе епископа Григория создано Епархиальное братство ревнителей православия, самодержавия, русской народности и благотворения, во имя иконы Божией Матери «Утоли моя печали».
С 17 декабря 1900 года уволен от управления Омской епархией, с назначением сверхштатным членом Синодальной Конторы с правом управления Донским монастырем.
Из-за проблем со здоровьем в декабре 1905 года прекращает присутствие в синоде. 8 июня 1906 года освобождён от управления монастырём и жил в Новоспасском монастыре.
В 1906 году избран почётным членом Казанской духовной академии.
Скончался 15 марта 1914 года и погребен в московском Новоспасском монастыре.
