Храм Всех Святых в Торопце был построен в 1794 году на средства жителей города как кладбищенская церковь. Здание выполнено в стиле классицизма с элементами барокко, представляет собой одноглавую кирпичную постройку с невысокой колокольней. Храм расположен на возвышенности восточной окраины города, рядом с Всехсвятским кладбищем.
Кладбище при храме имело разделение по конфессиям: слева хоронили лютеран и католиков (в городе проживало значительное число эстонцев), справа - православных, а за храмом находились еврейские захоронения. Среди известных погребённых - купцы Абакановы, протоиерей Леонид Просовецкий, статский советник Карпов.
В 1892 году храм был приписан к церкви Рождества Пресвятой Богородицы. Среди святынь отмечается местнопочитаемый список Корсунской иконы Божией Матери. Особенностью интерьера является трёхъярусный иконостас без архитектурной основы (безордерный), что представляет редкий случай в храмовом убранстве.
В советский период храм оставался единственным действующим не только в Торопецком районе, но и в пяти соседних: Западнодвинском, Андреапольском, Нелидовском, Жарковском и Бельском. С 1962 года он стал единственным местом для совершения богослужений на этой территории.
С 2007 года от храма ежегодно 11 октября совершается пятикилометровый крестный ход в деревню Кудино, где ранее находился Троицкий монастырь, основанный преподобным Харитоном Кудинским. К храму приписаны церковь Рождества Богородицы (по адресу ул. Ленинградская, 62) и Фаддеевская надкладезная часовня у святого источника (ул. Шевченко, 15).
В 1973 году храм получил статус объекта культурного наследия регионального значения. Архитектурный облик здания сохранился без существенных изменений, представляя характерный образец провинциального храмового зодчества конца XVIII века.