Храм в честь иконы Божией Матери «Всех скорбящих Радость» в Ярославле был основан в 1862 году на средства местных купцов Тимофея Васильевича и Александра Капитоновича Чистовых. Строительство завершилось в 1866 году. Храм возведен рядом с Алексиевской церковью на кладбище, что было характерно для традиций городского храмостроительства XIX века.
Архитектура храма представляет собой образец провинциальной эклектики с элементами неоренессанса. Проект демонстрирует влияние столичной архитектуры, в частности, петербургских лютеранских церквей середины XIX столетия. В процессе строительства первоначальный проект был адаптирован: изменена конструкция крыши, увеличено количество оконных проемов, центральное окно получило шлемовидный наличник вместо рельефного креста.
В декоративном убранстве фасадов прослеживаются элементы, отсылающие к русскому средневековому зодчеству. Шатровое завершение колокольни и ажурный купол основного объема создавали визуальный контраст с преобладавшими в городской застройке классицистическими фасадами.
В советский период храм был закрыт для богослужений. С 1971 года в здании размещался Народный музей. Храм стал одним из первых в Ярославле, возвращенных Русской Православной Церкви в постсоветский период. После ремонтных работ зданию был возвращен исторический облик, внутреннее убранство воссоздано благодаря пожертвованиям прихожан.
На прилегающей территории сохранились исторические надгробия XVIII-XIX веков, принадлежавшие представителям известных купеческих фамилий Мышкина - Чистовых, Замяткиных, Столбовых, Ситцковых и Гробовых, а также дворянским и мещанским родам. Территория кладбища была благоустроена в ходе реставрационных работ.