19 февраля 1867 года хиротонисан во епископа Старицкого, викария Тверской епархии.
С 31 марта 1873 года — епископ Енисейский и Красноярский.
Несмотря на большую протяжённость епархии, епископ Антоний постоянно ездил в самые отдалённые концы её, преодолевая при этом большие трудности. Путешествие совершал и на плотах, и на лошадях. В каждую поездку проезжал до 1500—2000 километров.
Преосвященный Антоний особенно заботился о развитии среди духовенства миссионерской деятельности для обращения инородцев в Православие. Однажды в селе Аскизе Минусинского округа он лично окрестил в реке Аскизе до 3000 инородцев.
Большое внимание преосвященный Антоний уделял развитию духовного образования в епархии, лично посещал семинарии и духовные училища, награждал и поощрял наиболее достойных воспитанников.
В личной жизни был строгим аскетом, отличался величайшей снисходительностью, простотой, искренностью, радушием, приветливостью и совершенною нестяжательностью.
В 1881 году в Красноярске пожаром было истреблено до 2000 домов и различных строений. Преосвященный Антоний возглавил комитет по оказанию помощи пострадавшим, причем помощь оказывалась всем без различия вероисповеданий. Им было роздано до 60 тыс. руб. соответственно действительным нуждам пострадавших. Один из сотрудников епископа Антония по комитету писал: «Если погорельцы удовлетворены более или менее справедливо, то, после Бога, они должны благодарить владыку Антония. Это был воистину служитель Бога, мысливший и действовавший нелицеприятно».
15 мая 1881 года переведён на Пензенскую кафедру.
Скончался 15 апреля 1889 года в Пензе.
