Храм во имя иконы Божией Матери «Всех скорбящих Радость» был устроен в составе Покровской общины сестер милосердия, основанной в 1858 году по инициативе великой княгини Александры Петровны. Первоначально община размещалась в деревянных зданиях близ Смоленского поля, где 10 октября 1860 года протопресвитер Василий Бажанов освятил домовую церковь в честь Покрова Пресвятой Богородицы. Этот храм, располагавшийся на верхнем этаже каменного здания, стал духовным центром общины.
В 1868 году на территории общины был построен двухэтажный каменный корпус с домовым храмом во имя святителя Митрофана Воронежского. Церковь освятил 27 сентября 1868 года епископ Ладожский Палладий. Иконостас храма включал образа, написанные игуменьей Митрофанией (в миру — баронессой Прасковьей Розен), начальницей общины с 1866 года.
Строительство современного здания храма во имя иконы Божией Матери «Всех скорбящих Радость» завершилось в 1899 году по проекту архитектора Вильгельма Виндельбандта. Церковь разместилась на втором этаже нового трехэтажного корпуса Покровской больницы, в специальном выступе над входом. Освящение храма 17 декабря 1899 года совершил митрополит Антоний в присутствии принца Александра Ольденбургского и великого князя Константина Константиновича. Иконостас выполнен по рисунку А.Н. Резцова, который также написал для него образа.
В 1904 году к храму был пристроен Митрофаниевский придел, освященный 21 декабря того же года. Придел вмещал до 600 человек и был сооружен на средства купца П.Ф. Салтыкова. В 1906 году после реконструкции Покровский и Митрофаниевский храмы объединили в единый комплекс.
После революции, с 30 мая 1918 года, Покровская церковь получила статус приходской, а Скорбященский храм был к ней приписан. Оба храма закрыли осенью 1923 года. В советский период помещение Скорбященской церкви использовалось как учебная аудитория. Восстановление храма произошло в 2011 году. С 2011 года в храме возобновлены регулярные богослужения.