Храм был возведён в период между 1160 и 1180 годами по указу смоленского князя Романа Ростиславича. Точная дата строительства не установлена, однако большинство исследователей склоняются к 1173 году. Согласно летописным источникам, князь Роман построил каменную церковь святого Иоанна и украсил её иконами, украшенными золотом и финифтью.
Архитектурно церковь представляет собой крестово-купольный одноглавый храм с тремя полукруглыми апсидами. Фасады изначально завершались полукружиями закомар, а на угловых лопатках были размещены декоративные кресты из плинфы. Внутреннее пространство храма было расписано фресками, фрагменты которых сохранились до наших дней. К зданию примыкали галерея и два придела у восточных углов, которые использовались как усыпальницы.
В 1611 году, во время польско-литовской оккупации Смоленска, храм был превращён в костёл. После возвращения города в состав Русского государства церковь вновь стала православной. В XVIII веке здание претерпело значительные изменения: были переложены своды, надстроен световой восьмерик под куполом, частично заложены древние окна, а также пристроены трапезная и колокольня. В результате этих перестроек первоначальный облик храма был существенно изменён.
В 1933 году, в период советской антирелигиозной политики, храм был закрыт, и в его стенах разместились музей и библиотека. Во время Великой Отечественной войны здание сильно пострадало: были уничтожены все пристройки, включая трапезную и колокольню. В 1970-х годах под руководством архитекторов С. С. Подъяпольского и Т. Е. Каменевой была проведена реставрация, в ходе которой с фасадов удалили позднюю штукатурку, а в нижних частях восстановили полуколонны и профилировки проёмов.
В 1993 году храм был передан Смоленской епархии Русской Православной Церкви. После проведения необходимых восстановительных работ 21 мая 1995 года состоялось его повторное освящение и возобновление богослужений. В 1997 году были расчищены и подготовлены фундаменты для восстановления колокольни, однако эти работы пока не завершены.
