Село Таволожка было основано в 1774 году. В 1825 году на средства помещика, поручика Александра Языкова, была построена каменная церковь во имя Всех Святых, освященная 17 октября того же года. Архитектурно здание представляет собой образец церковного зодчества первой половины XIX века, однако подробные описания его внешнего вида и внутренних интерьеров в доступных источниках отсутствуют.
К 1912 году церковь имела три престола: главный — во имя Всех Святых, и два придельных — в честь Покрова Пресвятой Богородицы и Казанской иконы Божией Матери. Приход включал жителей нескольких близлежащих деревень.
В советский период храм был закрыт, и его здание использовалось не по прямому назначению, что привело к утрате многих архитектурных и художественных элементов. Впоследствии здание пришло в запустение и нуждалось в капитальном ремонте.
В начале XXI века начались работы по восстановлению храма. Местные жители и прихожане при поддержке администрации района организовали ремонтно-реставрационные работы. Были проведены работы по обшивке купольной конструкции мягкой кровлей, оштукатурены алтарная часть и внутренние помещения церкви.
