Идея строительства храма возникла в начале XX века в рамках расширения Дома милосердия, учреждённого в 1833 году как Магдалинское убежище для "возвращения раскаивающихся публичных женщин на путь честного труда". В 1864 году учреждение было преобразовано в Дом милосердия и поступило под покровительство великой княгини Марии Николаевны. К концу XIX века деревянный храм, построенный в 1872 году по проекту архитектора П. П. Михальцева, стал тесен и обветшал. Староста церкви купец Я. Ф. Зиновьев и его жена пожертвовали значительные средства на возведение нового каменного храма.
Новый храм был заложен 22 октября 1906 года по проекту архитектора Германа Давидовича Гримма. Здание было задумано двухэтажным, с широкой звонницей над входом, выполненным в неорусском стиле с элементами модерна. Из-за недостатка средств строительство продвигалось медленно, и к 1911 году была завершена только верхняя церковь, тогда как нижняя оставалась без отделки. В октябре 1909 года были подняты кресты, а в декабре того же года епископ Нарвский Никандр освятил храм: 1 декабря — правый придел во имя Казанской иконы Божией Матери, 4 декабря — главный престол. Левый придел и нижний трёхпрестольный храм оставались неосвящёнными до последующих лет.
В 1914 году Дом милосердия переехал в Лесное, а церковь стала приходской ещё в 1912 году. Деревянную постройку не снесли, и в ней продолжали совершаться богослужения. Левый Никольский придел был освящён между 1916 и 1919 годами, а нижний храм — 1 января 1922 года митрополитом Вениамином. С 1905 года в этом храме впервые в столице стала практиковаться церковная встреча Нового года.
Храм был закрыт 10 декабря 1932 года и вскоре капитально перестроен под заводской цех. В результате реконструкции были утрачены архитектурные особенности здания, включая купола и внутреннее убранство. На протяжении десятилетий здание использовалось в промышленных целях, что привело к значительным изменениям его первоначального облика.
