Сын диакона Калужской губернии. Получил образование в Санкт-Петербургской духовной академии. Затем в ней же читал сначала отечественную, церковную и гражданскую историю, а затем психологию и историю философии.

В 1853 возглавил кафедру философии.

С 1853 преподавал психологию и философию.

В 1857 издал книгу «История Санкт-Петербургской духовной академии», которая была удостоена Академией Наук Демидовской премии.

С 1859 преподавал психологию и историю философии до Канта.

С 1864 — историю философии до и после Канта.

С 1866 по 1882 преподавал философию в Императорском училище правоведения.

Академия наук в 1865 присудила И. А. Чистовичу Демидовскую премию, в 1867 — Уваровскую премию за труд «Феофан Прокопович и его время», который издала в 1868.

В 1868 издал «Курс опытной психологии», который на основании отзыва Министерства народного просвещения, был введен учебником в духовные семинарии и удостоен полной премии митрополита Макария.

В 1871 году Чистович защитил диссертацию на степень доктора богословия — «Древнегреческий мир и христианство в отношении к вопросу о бессмертии и будущей жизни человека» (СПб., 1871). 13 декабря 1874 года был избран членом-корреспондентом Санкт-Петербургской академии наук.

Состоял вице-директором канцелярии обер-прокурора Священного синода, потом управлял контролем при Синоде и был членом учебного комитета.

В 1869 году был удостоен чина действительного статского советника, в 1882 году — чина тайного советника.

Похоронен на Никольском кладбище Александро-Невской лавры.

Оставил после себя много трудов по истории церкви. Все сочинения Чистовича по истории русской церкви составлены на оснований архивных первоисточников и внесли в науку много новых фактов, а отчасти и новых взглядов на более крупных церковно-исторических деятелей.

Был женат с 1859 года на дочери В. Б. Бажанова.