Первое упоминание о храме относится к 1372 году, когда он был одним из трёх каменных храмов, уцелевших в Торжке после разорения города тверским князем Михаилом. Современное здание церкви было построено в 1685 году на средства купца М. Мишурина. В 1835 году храм был возобновлён, и тогда же была построена новая колокольня. Церковь имела два этажа: верхний престол был освящён в честь Благовещения Пресвятой Богородицы, нижний — в честь священномученика Климента, Папы Римского. Главной святыней храма считалась древняя икона с частицами мощей 18 святых, переданная по завещанию купца-краеведа Ефрема Елизарова. Среди жертвователей храма были также купцы Штанковские.
Архитектурный облик храма сочетает элементы барокко и классицизма. Здание представляет собой двухэтажную постройку с колокольней, завершённой шпилем. Фасады украшены пилястрами и карнизами, характерными для архитектуры того периода.
В 1931 году храм был закрыт для богослужений. В советский период здание использовалось в различных хозяйственных целях. В 1999 году церковь была передана Русской Православной Церкви и приписана к Новоторжскому Борисоглебскому мужскому монастырю Тверской епархии.
