Он является одним из старейших сохранившихся каменных храмов города и представляет собой памятник архитектуры XVII века.
Первоначально на месте нынешнего храма находилась деревянная церковь, упоминаемая в окладной книге архиепископа Гавриила в 1691 году. В 1669 году на её месте была построена каменная церковь, ставшая восьмым каменным храмом Вологды. Однако, учитывая утрату ряда более ранних храмов, в настоящее время она является третьей по древности среди сохранившихся в городе.
Название "во Владычной слободе" связано с историческим районом Вологды, который до 1649 года принадлежал Вологодскому архиерейскому дому. После конфискации церковных земель слобода утратила своё принадлежность к архиерейскому дому, но название сохранилось в народной памяти.
Архитектурно храм представляет собой высокий кубический объём, увенчанный пятью куполами, установленными на световых барабанах. Фасады украшены декоративными элементами, включая арочные пояса и колонны. С западной стороны к храму примыкает трапезная, соединяющая его с ярусной колокольней, построенной в середине XVIII века. Колокольня состоит из четверика, восьмигранного яруса со звоном и двух восьмериков, завершённых главкой.
Внутреннее убранство храма включает три престола: в верхнем храме — в честь Всех Святых, в нижнем — в честь святых мучеников Флора и Лавра и в честь Святителя Николая Чудотворца. Алтарная часть подклетного этажа выделяется двумя полукружиями апсид, что характерно для вологодской архитектуры того времени.
В 1781 году приход храма был третьим по величине в Вологде, включая 72 двора. К 1892 году численность прихожан достигла 847 человек, что сделало его вторым по численности приходом в городе.
В 1930 году храм был закрыт, колокола сняты. Здание использовалось для различных хозяйственных нужд, включая размещение высланных "кулаков", завод игрушек и валяльную фабрику. В начале 1990-х годов начались работы по восстановлению храма, включая установку новых куполов и восстановление кирпичной кладки.
В 1995 году храм был возвращён Вологодскому епархиальному управлению. С 1996 года проводились ремонтные работы, а в 1998 году при храме была открыта воскресная школа. В 1998 году в храм были перенесены мощи Святителя Антония, епископа Вологодского и Великопермского.
