Первое упоминание о деревянной Ильинской церкви встречается в Дозорной книге 1615 года. В 1642 году воевода М.А. Вельяминов на собственные средства перестроил храм, переименовав его в Троицкую церковь с приделом во имя святого Илии пророка. К концу XVII века храм стал известен как Входоиерусалимский; точная дата смены названия не установлена. В 1748 году деревянная церковь сгорела во время пожара. В 1752 году на ее месте была возведена новая деревянная церковь, использовавшая материалы разобранной Покровской церкви. Однако это здание простояло лишь около пятнадцати лет.
Строительство каменного храма началось в 1767 году и завершилось освящением главного престола 20 июля 1770 года епископом Тихоном II. Придел во имя святого Илии пророка был завершен к январю 1771 года. В 1810–1812 годах на средства купца И. Рындина в трапезной был устроен еще один придел в честь священномученика Антипы. Финансирование иконостасов в приделах обеспечил купец Н. Рубцов. К концу XIX века, благодаря усилиям старосты А. Петрова, интерьер храма был украшен росписями и отделкой под мрамор, что сделало его одним из наиболее благолепных в Воронеже. Среди особо почитаемых икон находились образ Божией Матери, написанный в XVIII веке и украшенный серебряной ризой в 1847 году в память об избавлении города от холеры, а также иконы священномученика Антипы и благоверного князя Александра Невского.
Архитектурно храм представляет собой типичную для эпохи барокко конструкцию «восьмерик на четверике», дополненную граненой алтарной апсидой на востоке, трапезной частью и колокольней на западе. С юго-западной стороны к храму примыкает двухэтажный дом причта. Ю.И. Успенский в 1922 году отмечал оригинальность сооружения, подчеркивая массивность свода, поддерживающего восьмерик, и богатство наличников окон, напоминающих формы окон Петропавловской церкви.
В храме происходили значимые события: в 1809 году здесь был крещен будущий поэт Алексей Васильевич Кольцов, а в 1776 году служил священник Алексей Андреевич Болховитинов, отец митрополита Киевского и Галицкого Евгения (Болховитинова).
В начале 1930-х годов храм был закрыт, его ценности и документы изъяты. С 1934 года в здании разместился областной архив. В 1993 году храм был возвращен епархии, однако из-за длительного поиска нового помещения для архива богослужения возобновились лишь в августе 2000 года. В августе 2017 года был совершен чин Великого освящения восстановленного храма.
В настоящее время храм святого пророка Илии действует, являясь центром духовной жизни прихожан. При нем функционирует воскресная школа, выпускающая газету «Ильинский листок», а также молодежный приходской отдел.
