Строительство храма было инициировано в конце XIX века, в период активного развития Саранска как губернского центра. Инициатором возведения выступила местная православная община, стремившаяся создать новый духовный центр для горожан. Финансирование строительства осуществлялось за счет пожертвований прихожан и местных благотворителей.
Архитектурный облик храма представляет собой пример русского стиля с элементами классицизма, характерного для церковного зодчества конца XIX – начала XX века. Основной объем здания выполнен в форме креста с центральным куполом, окруженным четырьмя малыми главами. Фасады украшены декоративными элементами, такими как килевидные арки, аркатурные пояски и рустованные лопатки, придающими сооружению торжественный и величественный вид.
Внутреннее убранство храма отличалось богатством и изяществом. Иконостас, выполненный из резного дерева, был украшен позолотой и содержал иконы, написанные местными иконописцами. Стены и своды были расписаны фресками на евангельские сюжеты, что создавало атмосферу духовного возвышения и умиротворения для прихожан.
В период советской власти, как и многие религиозные учреждения, храм подвергся репрессиям. В 1930-е годы он был закрыт, а его имущество конфисковано. Здание использовалось в различных хозяйственных целях, что привело к утрате значительной части внутреннего убранства и повреждению архитектурных элементов. Однако, несмотря на эти испытания, храм сохранил свою основную конструкцию и продолжал оставаться символом духовной стойкости местного населения.
Возрождение храма началось в конце 1980-х годов, в период перестройки и восстановления религиозных свобод в СССР. Местная община при поддержке городских властей инициировала работы по восстановлению святыни. Были проведены реставрационные работы, направленные на восстановление первоначального облика здания, включая реконструкцию куполов, фасадов и внутреннего убранства. Восстановление храма стало возможным благодаря усилиям многих неравнодушных людей, стремившихся вернуть городу его духовное наследие.
В настоящее время храм иконы Божией Матери «Всех скорбящих Радость» является действующим и играет важную роль в духовной жизни Саранска. При нем функционируют воскресная школа, молодежные и благотворительные организации, направленные на поддержку социально незащищенных слоев населения.