Первоначально на месте современного храма находилась деревянная церковь, построенная в XVIII веке. В 1824 году было принято решение о возведении каменного храма на месте прежнего деревянного. Строительство велось на средства прихожан и завершилось в 1829 году. Новый храм был освящён в честь святых апостолов Петра и Павла, а также Всех Святых.
Архитектурный облик храма представляет собой образец стиля классицизма, характерного для первой половины XIX века. Здание имеет прямоугольную форму с полукруглой апсидой и четырёхскатной крышей. Главный фасад украшен четырёхколонным портиком с фронтоном. Колокольня расположена отдельно от основного здания и состоит из двух ярусов.
В течение XIX века храм служил важным духовным центром для жителей Валдая и окрестностей. В 1930-х годах, в период антирелигиозной кампании, храм был закрыт, а его здание использовалось для различных хозяйственных нужд.
В 1990-х годах, после распада Советского Союза, начался процесс возвращения храма Русской Православной Церкви. Здание было передано верующим, и начались восстановительные работы. Были проведены ремонтно-реставрационные мероприятия, направленные на восстановление первоначального облика храма. Восстановлены внутренние интерьеры, проведена реставрация фасадов и колокольни.
В настоящее время храм святых апостолов Петра и Павла и Всех Святых функционирует как действующий приход Русской Православной Церкви. В нём регулярно проводятся богослужения, а также различные церковные мероприятия. Храм является памятником архитектуры регионального значения и охраняется государством.
