Родился 11 августа 1838 года в Москве; сын дьякона (впоследствии священника церкви Воздвиженья на Острожках). Среднее образование получил в Московской духовной семинарии (1852—1858), высшее — в Московской духовной академии, курс которой окончил 1862 году со степенью магистра богословия (тема диссертации: «Местоблюститель патриаршего престола митрополит рязанский Стефан Яворский и Димитрий Тверитинов»).

В 1862 году Ф. Терновский был назначен бакалавром Киевской духовной академии, а затем, с 1866 года, был повышен в экстраординарного профессора, коим состоял 17 лет. В период 1863-1873 гг. он был учителем русской истории в Киевском епархиальном училище.

28 марта 1869 года он был приглашен приват-доцентом в университет св. Владимира по кафедре церковной истории и в 1872 году был утверждён в звании штатного доцента. За работу «Изучение византийской истории и ее тенденциозное приложение к древней Руси» удостоен университетом звания доктора русской истории.

Ф. А. Терновский оставил значительное литературное наследство. Для некоторых трудов он работал в московских и петербургских архивах, ездил на Афон. Главные работы Терновского по истории протестантизма и вольнодумства на Руси, следующие: «Московские еретики в царствование Петра І», «Материалы по делу Тверитинова», «Материалы для истории мистицизма в России», «Русское вольнодумство при Екатерине II и эпоха реакций», «Император Петр І в его отношениях к католичеству и протестантству». В некоторых из этих работ Синод усмотрел «направление, несогласное с духом православия, и склонность к мнениям протестантских историков» и указом от 16 ноября 1883 года уволил его от профессуры в Киевской духовной академии. Доцентом в университете Терновский однако остался. Последние годы жизни он состоял также преподавателем русской истории на высших женских курсах в Киеве.

Ф. А. Терновский был сотрудником журнала «Воскресное чтение», состоял действительным членом Одесского общества истории и древностей, Императорского Московского археологического общества, Исторического общества Нестора Летописца и Церковно-археологического общества при Киевской духовной академии.

Умер 23 мая 1884 года в Киеве.