Родился в селе Ардатовка, Нижнеломовского уезда, Пензенской губернии, в семье священника. С 1858 по 1864 год обучался в Нижнеломовском духовном училище, затем, с 1864 по 1870 год, в Пензенской духовной семинарии, а с 1870 по 1874 год в Киевской духовной академии. Печататься начал с 1872 года, опубликовав свою работу «Описание и истолкование дворянских гербов южнорусских фамилий в произведениях духовных писателей XVII в.» и получив за неё Евгениево-Румянцевскую премию. 24 мая 1874 года Голубев был утверждён в степени кандидата богословия за труд «Петр Могила и Исайя Копинский: Вступление Петра Могилы на Киевскую митрополию и его отношение к Исайи Копинскому».
В 1874 году Голубев стал приват-доцентом на кафедре русской церковной истории Киевской духовной академии. В 1883 году получил степень магистра богословия за труд: «Киевский митрополит Петр Могила и его сподвижники» (К., 1883). Эта работа была высоко оценена, и за неё Голубев получил половинную Уваровскую и Макарьевскую премии Священного Синода. С 1884 года состоял штатным доцентом по кафедре истории и обличения русского раскола. С 1885 года его также избрали приват-доцентом Киевского университета св. Владимира по кафедре церковной истории.
В 1887 году Голубев женился на дочери профессора Ф. А. Терновского Елене Филипповне Терновской. С 1891 года Голубев являлся исполняющим обязанности экстраординарного профессора Киевского университета; утверждён в должности в 1899 году. В 1898 году вышел второй том работы «Киевский митрополит Петр Могила и его сподвижники», также удостоенный Уваровской и Макарьевской премий.
17 марта 1899 года Голубев был удостоен степени доктора церковной истории. С 1899 года являлся ординарным профессором Киевской духовной академии, с 1900 года — заслуженный ординарным профессором, с этого же года также ординарным профессором Киевского университета.
В 1906 году принимал участие в заседаниях Предсоборного присутствия, где выступал за восстановление патриаршества. 29 декабря 1908 года Голубев был избран членом-корреспондентом Российской академии наук по отделению русского языка и его словесности. С 1908 года — действительный статский советник.
Голубев являлся членом Исторического общества Нестора-летописца, Общества истории и древностей российских, Киевской археографической комиссии, Киевского церковно-исторического и археологического общества при КДА, почётным членом Пензенского историко-статистического и археологического комитета и других научных обществ, также состоял членом Киевского клуба русских националистов. Был награждён орденами св. Анны 2-й степени, св. Владимира 3-й степени, св. Станислава 1-й степени.
После Октябрьской революции участвовал в обсуждении проектов по развитию богословского образования. Умер 22 ноября 1920 года, похоронен в Киеве, на верхнем кладбище Флоровского монастыря на Замковой горе.
