Первоначально деревянный храм Илии Пророка находился в рязанском кремле, рядом со Спасским монастырем, и упоминается в описи церквей 1638 года. В 1679 году церковь была перенесена «на посад в старый острог» за Глебовские ворота, где ранее располагалась деревянная церковь Происхождения Честных Древ. Взамен деревянного здания в 1699–1700 годах была построена каменная церковь, для строительства которой использовался кирпич от обрушившегося Успенского собора. Подрядчиком строительства выступил Никита Бухвостов.
К 1762 году в храме был устроен придел во имя великомученика Георгия. В 1806 году трапезная часть была расширена, и вместо одного были устроены два придела: во имя святого апостола Иоанна Богослова и первомученика архидиакона Стефана. Примерно в это же время была построена колокольня.
В 1875–1876 годах восточная половина храма была расширена боковыми пристройками, соединенными с основным зданием арками. В этих пристройках были обустроены приделы, куда перенесли престолы из трапезной. В 1870 году вокруг церкви была возведена каменная ограда с чугунной решеткой. Архитектурные изменения конца XIX века значительно преобразили облик Ильинской церкви.
Среди святынь храма особенно почиталась икона Божией Матери «Одигитрия-Смоленская» большого размера и древнего письма. По преданию, она ранее находилась в каменной часовне на городских воротах близ Глебовской башни и в 1618 году чудесным образом защитила город от нападения неприятеля. Преосвященный Симон (Лагов) перенес эту икону в Ильинский храм. В настоящее время местонахождение этого образа неизвестно.
После революции 1917 года богослужения в Ильинской церкви продолжались, и она стала одним из немногих центров церковной жизни в Рязани. Однако 18 ноября 1929 года храм был закрыт и признан пригодным для использования под зернохранилище. С этого момента здание неоднократно перестраивалось. В 1940 году власти потребовали изменить фасад, чтобы он не напоминал о прежнем религиозном назначении. Долгое время в здании располагался лекторий общества «Знание».
В 1990-х годах, в период возвращения православных храмов Русской Православной Церкви, рассматривалась возможность переоборудования здания Ильинского храма под Дворец бракосочетания, о чем свидетельствовали установленные на фасаде фигуры обнаженных мужчины и женщины. Однако этого не произошло, и 5 февраля 2000 года храм Илии Пророка был вновь освящен.