Первоначально деревянный храм Илии Пророка находился в рязанском кремле, рядом со Спасским монастырем. В 1679 году он был перенесен «на посад в старый острог» за Глебовские ворота. В 1699–1700 годах на месте деревянной церкви была построена каменная церковь из кирпича, полученного от обрушившегося Успенского собора. Строительство осуществлялось под руководством подрядчика Никиты Бухвостова.
В 1762 году в храме был устроен придел во имя великомученика Георгия. В 1806 году трапезная часть была расширена, и вместо одного придела были устроены два: в честь апостола Иоанна Богослова и первомученика архидиакона Стефана. Примерно в это же время была построена колокольня, которая до наших дней не сохранилась.
К 1805 году в храме были проведены отделочные работы. После 1817 года в приделе апостола Иоанна Богослова был установлен новый иконостас, а алтарь расписан. В 1875–1876 годах восточная часть храма была расширена боковыми пристройками, соединенными с основным зданием арками. В этих пристройках были устроены приделы, куда в 1877 году перенесли престолы из трапезной. В 1870 году вокруг церкви была возведена каменная ограда с чугунной решеткой.
Среди святынь храма особо почиталась икона Божией Матери «Одигитрия-Смоленская» большого размера и древнего письма. По преданию, она находилась в каменной часовне у Глебовской башни и в 1618 году чудесным образом защитила город от нападения неприятеля. Преосвященный Симон (Лагов) перенес эту икону в Ильинский храм. В настоящее время местонахождение этого образа неизвестно.
После революции 1917 года богослужения в храме продолжались, и он стал одним из центров церковной жизни Рязани. Однако 18 ноября 1929 года храм был закрыт и использовался для хозяйственных нужд, включая хранение зерна. В последующие годы здание подвергалось перестройкам, в том числе в 1940 году, когда власти приняли меры по изменению его внешнего облика. Долгое время в здании располагался лекторий общества «Знание».
В 1990-х годах, в период возвращения храмов Русской Православной Церкви, Ильинский храм избежал переоборудования под Дворец бракосочетания. 5 февраля 2000 года храм Илии Пророка был вновь освящен. В настоящее время в здании храма располагается Рязанское епархиальное управление, освященное 30 декабря 2010 года. Сам храм в честь пророка Божия Илии был освящен 15 октября 2011 года.
