Первое упоминание о храме в селе Пажга относится к 1586 году, когда в писцовой книге был зафиксирован погост Пажга с двумя деревянными церквями - Благовещения Пресвятой Богородицы и Успения Пресвятой Богородицы. Обе церкви были клетскими, построенными приходом. В 1608 и 1646 годах на погосте продолжали существовать два храма.
В 1781 году была построена новая деревянная двухэтажная Благовещенская церковь, освященная 19 июня 1783 года. Верхний, теплый храм был освящен во имя Благовещения Пресвятой Богородицы, а нижний, холодный - во имя святителя Модеста. Эта церковь заменила собой прежние деревянные храмы.
В 1835 году началось строительство каменной двухэтажной церкви. Теплый храм в нижнем этаже был освящен 15 декабря 1835 года, а верхний этаж с колокольней достроен к 1840 году и освящен 21 июня 1847 года. Нижний храм был освящен во имя Благовещения Пресвятой Богородицы, верхний - во имя Успения Пресвятой Богородицы. Верхний храм заменил собой деревянную Успенскую церковь, построенную в 1763 году.
В 1930-х годах храм был закрыт советской властью. По свидетельствам местных жителей, при закрытии церкви крестьяне спасли большой колокол от переплавки, утопив его в реке Сысола. Здание храма было переоборудовано под клуб и библиотеку, которые располагаются там по настоящее время. Купола и церковное убранство были утрачены.
Архитектором каменного храма считается П.В. Иконников (по другим данным - вологодский городовой архитектор Трубчинкин). Храм представляет собой двухэтажное каменное здание в стиле классицизма, характерном для церковной архитектуры первой половины XIX века. Престолы храма были освящены в честь Благовещения и Успения Пресвятой Богородицы.
В клировых ведомостях за 1914 год упоминается часовня в деревне Борисовская, освященная во имя Казанской иконы Божией Матери. С 1869 по 1905 год к Пажгинскому приходу была приписана Нювчимская Димитриевская церковь. В разные годы в приходе числилось от 908 человек в 1788 году до 2149 человек в 1868 году.