По окончании Курской духовной семинарии поступил в Санкт-Петербургскую духовную академию, которую окончил в 1904 году со степенью кандидата богословия. В академии учился одновременно со своим старшим братом Димитрием, который впоследствии был митрополитом Виленским.

Женился на Марии Николаевне.

В 1904 году назначен воспитателем Санкт-Петербургского Александро-Невского духовного училища. В 1905 году - настоятель Ямбургского собора. Протоиерей.

В 1915 году за свой труд "Значение Иерусалимского храма в Ветхозаветной Истории еврейского народа" получил степень магистра богословия.

Автор ряда статей и книг, принимал активное участие в создании "Православной богословской энциклопедии", выходившей в предреволюционные годы в Петербурге.

В последующие годы был священником в Гдове, Гатчине, Кронштадте.

В 1919 году эмигрировал в Эстонию, взяв с собой святыни Гатчинского собора: Филермскую икону Божией Матери, десницу Иоанна Предтечи и часть Животворящего Креста Господня, которые были привезены в Россию при императоре Павле I (впоследствии эти святыни были отправлены из Эстонии в Копенгаген к вдовствующей императрице Марии Федоровне).

В Таллине служил сначала в Александро-Невском соборе (по другим данным, был настоятелем собора), а после 1936 года в храме свв. Симеона и Анны. Преподавал Закон Божий в ряде учебных заведений Таллинна.

В 1920-х гг. разработал учебное пособие по преподаванию Закона Божия для русских детей в эмиграции. Активно участвовал в работе Русского Православного Студенческого Единения, возглавлял делегации на ряде съездов Единения, руководил работой семинаров. В течение многих лет он был благочинным, членом Нарвского епархиального совета и членом Синода Эстонской Православной Церкви.

В 1930-1940 годах редактировал выходивший в Эстонии духовный журнал "Православный Собеседник".

В конце 1930-х годов в Таллине открылись русскоязычные богословско-пастырские курсы и протоиерей Иоанн стал их руководителем. В первый же год их работы слушателем курсов стал Михаил Александрович Ридигер, отец будущего патриарха Московского и всея Руси Алексия. Отец Иоанн был также законоучителем в школе и духовником юного Алексея. Алеша с 6 лет прислуживал в храме, где настоятельствовал его духовник. Впоследствии патриарх говорил о своем наставнике как о «человеке глубокой веры и очень большого духовного и жизненного опыта». «Любовь и внимание к людям были теми критериями, которыми руководствовались и о. Иоанн, и мой отец» [1].

Во время Второй мировой войны обслуживал лагеря для беженцев и перемещенных лиц Клоога, Пылдкюла, Палдиски и Вильянди (Эстония). После окончания Второй мировой войны остался в СССР.

В 1946 году - ректор вновь открытых Ленинградской духовной академии и семинарии. Принимал активное участие в разработке учебной программы, в основу которой была положена система образования дореволюционных Петербургской академии и семинарии.

В декабре 1946 года овдовел и 12 июня 1947 года был пострижен в монашество с возведением в сан архимандрита.

22 июня 1947 года был хиротонисан во епископа Таллинского и Эстонского. Хиротонию совершали патриарх Московский и всея Руси Алексий (Симанский), митрополит Ленинградский и Новгородский Григорий (Чуков) и епископ Лужский Симеон (Бычков).

Скончался 18 декабря 1949 года. Похоронен на Александро-Невском кладбище в Таллине рядом со своим предшественником по кафедре архиепископом Павлом (Дмитровским).