Согласно местным преданиям, на месте современного храма в X веке подвизались монахи-отшельники, выкопавшие пещеры, подобные киевским. Впоследствии здесь был возведен каменный храм, предположительно в XII веке, который, по мнению исследователей, представлял собой миниатюрную копию храма Святой Софии в Константинополе. Этот древний храм просуществовал до 1634 года и был разрушен по неизвестным причинам; одна из версий предполагает обрушение из-за конструктивных особенностей.
В 1765 году на средства купца Андрея Сысоева на оставшемся фундаменте был построен новый каменный храм. Здание представляет собой памятник провинциального барокко: двухсветный четверик с пятигранной апсидой, увенчанный главкой на вытянутом восьмерике, с короткой трапезной и колокольней, состоящей из двух четвериков и восьмерика. Внутреннее пространство храма перекрыто сомкнутым сводом, трапезная — коробовым.
После Октябрьской революции 1917 года храм был закрыт и использовался под различные нужды, включая размещение стратегических объектов и складских помещений. В августе 1976 года в здании храма был открыт городской планетарий, который функционировал до декабря 2014 года, когда храм был официально возвращен Смоленской епархии.