Эта церковь была построена в 1647–1650-х годах на средства богатейших и именитых ярославских купцов братьев Вонифатия и Иоанникия Скрипиных, которые занимались торговлей мехами, церковной утварью и драгоценными камнями. Они являлись поставщиками товаров для царского и патриаршего дворов и были лично знакомы с первыми Романовыми — царями Михаилом Федоровичем и Александром Михайловичем. Церковь была построена на скрипинском подворье, которое в те времена было расположено в самом центре Земляного города, на оживленной улице, неподалеку от торговой площади.
К завершению строительства храма Патриарх Иосиф даровал Скрипиным редчайшую священную реликвию — частицу ризы Христа, которую в 1625 году посол персидского шаха Аббаса торжественно вручил в Москве Патриарху Филарету.
После революции в 1920 году церковь Ильи Пророка не избежала участи многих русских храмов: была закрыта и передана Ярославскому научно-историческому обществу под музей. В мае 1922 года храм был взят на учет в губернском историческом музее, ему была присвоена высшая категория. В этом же году проводилось изъятие церковных ценностей.
Церковь Ильи Пророка была открыта для посетителей как музей до начала 1930-х годов. Затем один из лучших в России памятников архитектуры и живописи 17-го века стал использоваться как складское помещение. Подклетные палатки были сданы в аренду, в центральном и придельных храмах разместились фонды музея и мастерская, работа которой оказывала вредное воздействие на стенописи церкви. Но закрытие церкви было только первым шагом. В 1920–1930-е годы в городе необычайно активизировалась деятельность Союза воинствующих безбожников, и наиболее активные его члены начали кампанию за снос церкви Ильи Пророка. Только усилиями сотрудников сектора архитектуры Главнауки П.Д. Барановского и Н.Н. Померанцева, спасших немало церквей в России, и активным протестом сотрудников музей (в особенности исполнявшего в то время обязанности директора музея Н. В. Кузнецовым) храм был спасен.
В конце 1930-х годов в Ильинской церкви создается областной антирелигиозный музей, директором которого становится В.М. Королев, один из организаторов союза воинствующих безбожников Ярославской области.
Своей большой заслугой Королев считал установку маятника Фуко в церкви Ильи Пророка — это был третий по счету маятник Фуко в СССР после Ленинграда и Свердловска. За организацию маятника он получил значок атеиста-отличника, а также почетную грамоту союза воинствующих безбожников.
Антирелигиозный музей просуществовал в Ярославле всего около трех лет, затем началась Великая Отечественная война, Ковалев был отправлен на фронт, и музей закрыли.
После войны церковь Ильи Прока использовалась в основном как фондовое помещение Ярославского краеведческого музея. В 1955 году памятник решили открыть для посетителей, однако состояние настенной живописи, иконостасов и икон к этому времени было очень тяжелым.
В 1960 году было восстановлено черепичное покрытие глав колокольни и Ризоположенского придела, позолочены все кресты, отремонтирована решетка вокруг храма. С тех пор на памятнике велись регулярно те или иные ремонтные работы. В 1990 году начались и продолжаются до настоящего времени реставрационно-консервационные работы.
В 1989 году главный престол церкви Ильи Пророка был вновь освящен, и с этого времени в летний сезон в храме проводятся службы по большим христианским праздникам.
