Строительство каменного храма осуществлялось на средства надворного советника и купца Петра Алексеевича Мальшина. Новый храм имел три престола: главный — в честь иконы Божией Матери «Всех скорбящих Радость», правый — во имя праведного Алексия, человека Божия, и левый — во имя преподобного Онуфрия Великого.
Одновременно с возведением храма, на средства П.А. Мальшина был построен жилой дом для причта, учитывая удалённость церкви от городской черты. Первоначально планировалось также строительство богадельни при храме, однако по просьбе городских властей её разместили в другом месте — на углу улиц Курганской и Мальшинской (ныне улицы Маяковского и Свободы).
Архитектурное решение храма отражает его предназначение как кладбищенской церкви. Небольшие размеры, камерность и уютность интерьера были призваны создавать атмосферу умиротворения и утешения для молящихся. В некоторых исторических источниках храм упоминается под названием «Всех скорбящих Утешение».
Внутреннее убранство храма включает иконостас, созданный в 1878 году, и росписи, выполненные известным рязанским иконописцем Николаем Васильевичем Шумовым. Среди святынь храма особо почитается список чудотворной иконы Божией Матери «Всех скорбящих Радость», прославившейся в Москве в 1688 году. Также в храме находится Тихвинская икона Божией Матери с бисерным окладом и икона великомученика и целителя Пантелеимона с частицей его мощей.
Храм никогда не прекращал свою деятельность. В период с конца 1930-х годов до 1947 года он оставался единственным действующим православным храмом в Рязани. На территории Скорбященского кладбища, рядом с храмом, в 1992 году была построена часовня в честь святой блаженной Любови Рязанской над местом её погребения. В 1998 году мощи святой были перенесены в Николо-Ямской храм Рязани, однако часть их осталась в часовне.
