Первоначально на этом месте в 1718 году была возведена деревянная церковь по указу императора Петра I с благословения митрополита Сарского и Подонского Игнатия.В храмозданной грамоте митрополит подчеркнул, чтобы церковь имела вид «по чину против прочих церквей, а не шатровая».
Первым священником храма был Павел Ефимович Львов-Троепольский, на средства которого в 1724 году деревянная церковь была заменена каменным Благовещенским собором. Однако с ростом населения и развитием города этот храм стал мал и не соответствовал статусу торгового поселения. В результате в 1730-х годах был построен новый каменный Благовещенский храм, описание которого сохранилось в трудах историков Г. К. Бугославского и В. А. Никитина.
Собор имел вид куба с шатровой крышей и пятью небольшими главами, напоминая архитектуру храмов Северной Руси. В южной и северной стенах были устроены большие круглые окна в романском стиле. К западному входу примыкала высокая колокольня в виде восьмиугольной башни, сужающаяся кверху этажами, напоминающая башни немецких городов. Внутреннее убранство храма соответствовало внешнему виду и указывало на зажиточность жителей города. Пятиярусный иконостас включал крупные иконы в богатых окладах, написанные в первой половине XVIII века. Особо выделялась икона Спасителя, являющаяся копией образа из Московского Успенского собора, написанная в 1742 году и украшенная в 1806 году гжатскими купцами Иваном, Петром и Стефаном Царевитеневыми.
Во время Отечественной войны 1812 года собор пострадал от действий французских войск, которые использовали его под лазарет и конюшню. Следы тех событий долгое время сохранялись на иконах в виде гвоздей, на которые вешали одежду.
Во второй половине XIX века собор считался купеческой церковью. В 1882 году к нему была пристроена новая каменная колокольня в московском стиле высотой до 25 саженей, которая была оштукатурена в 1902 году. В 1896 году старый собор был разобран и на его месте возведен новый, более обширный храм, строительство которого финансировалось Анной Ивановной Комаровой, затратившей более 150 тысяч рублей. Новый собор вмещал до 4 тысяч богомольцев, имел три престола: главный в честь Благовещения Пресвятой Богородицы, правый — во имя святителя Василия Великого, левый — в честь преподобной Анны. Освящение собора состоялось 29 октября 1900 года епископом Смоленским и Дорогобужским Петром.
В 1929 году, в период антирелигиозной кампании, Благовещенский собор был закрыт, кресты и главы сняты, колокола демонтированы, а в здании устроен звуковой кинотеатр. Во время Великой Отечественной войны собор пострадал, но здание сохранилось. После войны в нем размещался клуб до 1960-х годов, а в 1980-х годах здание было реставрировано и передано под краеведческий музей.
