История храма начинается с 1452 года, когда на этом месте были погребены мощи святого Иакова Боровичского, что сделало его особо почитаемым среди местных жителей.
В 1806 году деревянная шатровая церковь, стоявшая на этом месте, сгорела. После пожара была возведена временная деревянная часовня. В 1830 году жители Боровичей обратились к митрополиту Новгородскому и Санкт-Петербургскому Серафиму с просьбой о строительстве на месте часовни каменного храма, однако получили отказ из-за признания места неудобным для такого строительства. Лишь в 1871 году на месте временной часовни была построена каменная крестовокупольная часовня, которая в 1881 году была освящена как церковь иконы Божией Матери «Умиление».
Архитектурно храм представлял собой здание с высоким световым барабаном и пятью главами, украшенными крестами. Фасады были украшены росписями как снаружи, так и внутри. Внутреннее пространство включало небольшой иконостас с высокими царскими вратами. С внешней стороны северной стены храма находилось изображение иконы Божией Матери «Умиление» Серафимо-Дивеевской.
В 1937 году церковь была закрыта, и здание использовалось под сапожную мастерскую, а в годы Великой Отечественной войны — для хранения зажигательных смесей. В последующие годы здание храма использовалось как керосиновый магазин и склад горюче-смазочных материалов завода «Мстатор».
В 1993 году здание храма было передано православной общине, после чего начались восстановительные работы. По проекту архитектора В.В. Овсянникова был восстановлен световой барабан с шатровым завершением и пятью главками с крестами. Внутренние стены были очищены и побелены, настелен новый пол. Богослужения в храме возобновились в 1995 году.
