Каменный храм в честь Казанской иконы Божией Матери в Торопце возведен в 1741–1764 годах на месте прежней деревянной церкви. Храм имел два престола: главный освящен во имя Казанской иконы Божией Матери, придельный — во имя святых благоверных князей Бориса и Глеба. Колокольня, существовавшая отдельно от основного здания, не сохранилась; первоначально на ней находилось пять колоколов, крупнейший из которых весил 51 пуд 13 фунтов.
В середине XIX века территория храма была обнесена кирпичной оградой с двумя башнями, в одной из которых располагалась часовня. В 1876 году Казанская церковь была приписана к Никольскому храму Торопца. В 1931 году храм закрыли для богослужений. В советский период здание использовалось под хозяйственные нужды: здесь размещались соляной склад, кузница, котельная, хранилище обуви, станки, велась торговля керосином. В последние годы перед возвращением Церкви в здании находилась реставрационная мастерская.
В апреле 1991 года храм передан Русской Православной Церкви. Первое богослужение после долгого перерыва совершено 5 января 1992 года — была отслужена Божественная литургия и молебен. В настоящее время на месте утраченной колокольни сооружена небольшая деревянная звонница.