Родился в семье священника Цыпинского погоста Кирилловского уезда Ивана Михайловича Бриллиантова. Его брат – Иван Иванович Бриллиантов (1870—1934) – был исследователем Ферапонтова монастыря.
Учился в Кирилловском духовное училище (1877—1881), затем в Новгородской семинарии (1881 — 1887) и в Санкт-Петербургской духовной академии (1887 — 1891).
В 1893—1900 годах преподавал историю и обличение русского раскола в Тульской духовной семинарии, исполнял должность епархиального миссионера. В 1898 г. защитил магистерскую диссертацию в Санкт-Петебургской духовной академии на тему «Влияние восточного богословия на западное в произведениях Иоанна Скота Эригены» (присуждена степень магистра богословия). В апреле 1900 года избирается доцентом на кафедру общей церковной истории Санкт-Петербургской духовной академии (СПДА). В 1904 году — экстраординарный, а с 1914 года, после получения степени доктора церковной истории, и до закрытия академии в сентябре 1918 года — ординарный профессор академии. Участвовал в работе Комиссии Священного Синода по старокатолическому и англиканскому вопросам, а также Библиотечной комиссии СПДА. Сотрудничал с Русским архелогическим институтом в Константинополе.
Входил в состав членов Предсоборного присутствия при Священном синоде (1906 год), Предсоборного совета (1917), Поместного собора Русской православной церкви 1917—1918 годов.
Весной 1917 года выдвигался в качестве одного из кандидатов на кафедру правящего архиерея Петроградской епархии.
В 1919 году избирается членом-корреспондентом Российской академии наук. После закрытия СПДА преподавал в Петроградском богословском институте (Высшие богословские курсы) с 1920 по 1923 год. Участвовал в научной деятельности Российского Палестинского Общества и Византийской комиссии АН СССР. А. И. Бриллиантов предпринимал огромные усилия к сохранению библиотеки СПДА; из её фондов было образовано I отделение Государственной публичной библиотеки (ныне Российская национальная библиотека), где он стал библиотекарем I отделения (с 1921 года). С 1925 года — главный библиотекарь Государственной публичной библиотеки. 21 февраля 1930 подал заявление об освобождении от работы «ввиду неудовлетворительного состояния здоровья», не дающего возможности «продолжать работу в библиотеке» и с 1 марта был уволен из библиотеки на пенсию.
10 июля 1930 года был арестован по так называемому «делу академика Платонова» (Академическому делу) и обвинён в участии в «контрреволюционной организации, возглавляемой Платоновым и ставившей целью свержение власти и восстановление монархического строя». По обвинению в сокрытии от «советского правительства важных архивных фондов государственного значения» были арестованы С. В. Бахрушин, Н. П. Лихачёв, Е. В. Тарле и другие. В феврале 1931 года был приговорён к «высшей мере», которая была заменена пятью годами лагеря с конфискацией имущества.
В отношении времени и места смерти информация противоречивая. На официальном сайт Правительства Вологодской области сказано, что А. И. Бриллиантов умер 1 июля 1933 года от дизентерии, во время этапа на пути в Свирлаг. На сайте Российской национальной библиотеки утверждается, что он умер в месте ссылке, в Тамбове. Биобиблиографический словарь востоковедов сообщает, что он был осуждён по статье 58-11 и после досрочного освобождения 26 мая 1932 года умер в ссылке в Тамбове 1 июня 1933 года. Со ссылками на сведения, сообщаемые родственниками, М. Н. Шаромазов пишет, что Александр Иванович предположительно умер в 1934 году. Реабилитирован 30 июня 1989 года.
