Храм был построен в 1146 году при смоленском князе Ростиславе Мстиславиче и освящён первым смоленским епископом Симеоном. Архитектурно церковь представляет собой крестово-купольный одноглавый четырёхстолпный храм строгих пропорций, подчёркнутых сдержанностью декора.
Во время польской интервенции 1611–1654 годов храм был превращён в костёл. В этот период католический архиепископ Лев Кревза-Ржевусский организовал у церкви свою резиденцию, для чего в 1630-х годах с западной стороны храма были выстроены примыкающие к нему двухэтажные палаты. После возвращения Смоленска в состав России в 1654 году храм вновь стал православным.
В XVIII веке храмовый комплекс был полностью перестроен. К храму Петра и Павла с запада примкнул храм святой великомученицы Варвары. Во время Отечественной войны 1812 года храм был разграблен французскими войсками. Восстановление продолжалось до 1837 года, включая вызолочение иконостаса и написание новых картин на стенах.
В 1943 году, во время боёв за освобождение Смоленска, храм вновь подвергся разрушениям. Он был восстановлен в предполагаемых первоначальных формах в 1962–1963 годах под руководством архитектора Петра Барановского. Богослужения в храме были возобновлены 26 мая 1991 года.
