13 ноября 1875 года хиротонисан в сан епископа Владикавказского, викария Карталинской и Кахетинской епархии Грузинского экзархата. C 23 апреля 1885 года Владикавказская епархия становится самостоятельной.
Много потрудился на пользу духовного просвещения православных осетин.
22 июля 1888 года по собственному прошению Епископ Иосиф был уволен на покой в московский Новоспасский монастырь, где и скончался.