Строительство часовни во имя пророка Илии на Мещанском кладбище Владикавказа было инициировано в 1888 году. Руководил строительством настоятель Константино-Еленинской церкви священник Василий Жуков. Из-за финансовых трудностей работы продолжались семь лет, и в июле 1895 года городской инженер Фёдор Ковалёв объявил о завершении строительства. 11 августа того же года епископ Владикавказский и Моздокский Владимир (Синьковский) благословил совершить освящение часовни.
Первоначально часовня была приписана к Константино-Еленинскому храму, и иконостас этого храма до сих пор находится в Ильинской церкви. В 1933 году, после закрытия большинства церквей во Владикавказе, часовня стала единственным приходом для православных верующих в городе. В 1941 году она осталась единственным действующим православным храмом не только во Владикавказе, но и во всей Осетии.
В 1948 году, на основании решения Совета по делам Русской Православной Церкви при Совете Министров СССР, было выдано разрешение на перестройку часовни в полноценный храм. Реставрационные работы были осуществлены трудами благочинного Северной Осетии, митрофорного протоиерея Григория Гончарова. Церковный приход был зарегистрирован, и храм получил один придел в честь святителя Николая Чудотворца.
Архитектурно храм представляет собой образец эклектики с элементами русского стиля. Здание выполнено из камня, с характерными для православной архитектуры куполами и декоративными элементами. В ограде храма находится часовня местночтимой старицы Анастасии (Андреевой), которая является памятником истории и объектом культурного наследия.
В настоящее время храм Илии Пророка продолжает функционировать как действующий православный приход. Он является одним из самых крупных приходов в республике, где регулярно совершаются богослужения и другие религиозные обряды. Храм также служит местом хранения списка чудотворной Моздокской иконы Божией Матери.
