Каменный храм в честь иконы Божией Матери «Знамение» в деревне Вырец был построен в 1825 году и освящен архиепископом Тверским Ионой (Павенским). Храм возведен в стиле зрелого классицизма, с четвериком, увенчанным световой ротондой, и двухъярусной колокольней. Трапезная часть с приделами, соединяющая эти элементы, была перестроена в 1870-х годах из-за повреждений сводов первоначальной постройки 1825 года.
До строительства каменного храма на этом месте последовательно сменились три деревянных церкви. Вторая из них была сооружена в 1682 году, третья — в 1773 году. Предполагается, что их архитектура соответствовала распространенному в Тверской губернии типу «восьмерик на четверике», аналогично сохранившейся Покровской церкви в селе Новый Стан (1777 год). Деревянные храмы были посвящены святителю Николаю Чудотворцу с приделом пророка Илии. Согласно местному преданию, новое посвящение каменного храма иконе «Знамение» связано с чудесным явлением образа Богородицы на одной из сосен близ церкви.
В храме сохранился барочный иконостас, отличающийся изящными пропорциями и сложной композицией. Вероятно, он был перенесен из предшествующего деревянного храма. Большинство старинных икон утрачено из-за неоднократных краж в советский период.
В 1937 году храм был закрыт, имущество разграблено, колокола сброшены. Около 1940 года, по ходатайству бывшей послушницы закрытого Савихинского монастыря, храм вновь открыли для богослужений, что являлось редким случаем в тот период. С этого времени церковная жизнь в храме не прерывалась, несмотря на отдельные ограничения в советские годы.
Приход храма исторически включал население окрестных деревень — потомков карельских переселенцев XVII века и русских крестьян новгородского происхождения. Вдоль старинного торгового тракта, проходившего через Вырец и связывавшего Торжок с Бежецком, сохранился ряд исторических сел с церквями.