В начале 1990-х годов на территории городского кладбища по улице Новомосковской находилось здание, изначально предназначенное для проведения гражданских панихид. Однако по прямому назначению оно не использовалось и находилось в бесхозном состоянии. В 1991 году община Успенского собора Тульского кремля инициировала процесс выкупа этого здания у Городского коммунального хозяйства Тулы с целью переоборудования его под храм.
После завершения необходимых работ по обустройству, весной 1991 года в новом храме было проведено первое богослужение. В последующие годы были проведены работы по улучшению инфраструктуры храма: проведены отопление и электроэнергия, устроены алтарь, ризница, хоры для певчих, установлен иконостас и престол, а на крыше возведена глава с крестом. 10 августа 1993 года, в день празднования Смоленской иконы Божией Матери, храм был освящен.
В период с 2007 по 2008 годы здание храма было перестроено, в результате чего приобрело новый, более современный вид.