Первые упоминания о церкви на этом месте датируются 1626 годом. В то время здесь находился деревянный храм во имя святителя Николая Чудотворца с приделом в честь святых Космы и Дамиана. В описях 1626 и 1685 годов он значится как «церковь Николая Чудотворца что за лавками, деревян, шатром, в старом остроге», с приделом во имя Космы и Дамиана .
В 1754 году деревянный храм пострадал от пожара. На его месте в 1755 году был возведен новый каменный храм во имя святителя Николая. Однако в связи с перепланировкой города и утверждением нового плана застройки, этот храм был разобран и перенесен на новое место. Ныне существующее каменное здание было построено в 1794 году и освящено во имя Спаса Нерукотворного Образа. Строительство обошлось в 70 тысяч рублей серебром, что по тем временам являлось значительной суммой .
Архитектура храма представляет собой яркий пример стиля екатерининского барокко. Основной объем здания состоит из четырех связанных между собой полукружий, каждый из которых увенчан главой, а пятая глава расположена в центре. Высокий купольный свод поддерживается световыми барабанами. Боковые входы украшены порталами с двумя парами тонких колонн, над которыми располагаются аналогичные колонны, поддерживающие фронтоны. Четырехъярусная колокольня, первоначально стоявшая отдельно, в XIX веке была соединена с храмом папертью .
В 1824 году в трапезной части храма были построены два придела: в честь святых Космы и Дамиана и святителя Николая Чудотворца. В 1886 году в этих приделах были установлены новые иконостасы . Среди особо почитаемых икон храма находились образы Божией Матери «Страстная» и Почаевская икона, привезенная из Почаевской лавры .
В советский период храм подвергся значительным испытаниям. В 1926 году служившие в храме иеромонах Антоний (Кобелев) и священник Николай Вылежинский были арестованы и отправлены в ссылку за «антисоветскую агитацию». В 1937 году храм был закрыт и некоторое время использовался для содержания заключенных. В послевоенные годы здание служило гаражом и хозяйственным складом. Несмотря на это, в 1960 году постановлением Совета Министров РСФСР храм был объявлен памятником архитектуры и градостроительства республиканского значения .
Возвращение храма Русской Православной Церкви состоялось 17 июля 1992 года на основании распоряжения администрации Калужской области. После этого начались восстановительные работы, и 27 августа 1998 года архиепископом Климентом было совершено освящение центрального придела, после чего в храме возобновились регулярные богослужения .
