Он является старейшим из сохранившихся храмов города, построенным в 1697 году на месте упразднённого к тому времени мужского монастыря.
Архитектурно храм представляет собой бесстолпный двухсветный четверик, перекрытый сомкнутым сводом и увенчанный традиционным пятиглавием. С востока к нему примыкает трёхапсидная алтарная часть, с запада — узкая галерея-паперть и притвор, увенчанный ротондой с плоским куполом. В 1813–1822 годах была возведена четырёхъярусная колокольня, ставшая архитектурной доминантой комплекса.
В 1767–1768 годах храм был расписан артелью ярославских мастеров под руководством Фёдора Потатуева. Росписи включают сцены из «Сказания об иконе Казанской Богоматери», написанного митрополитом Казанским Гермогеном. В 1768 году был установлен резной позолоченный пятиярусный иконостас, отличавшийся ажурностью резьбы и тонкостью отделки.
В 1922 году из храма было изъято около двух пудов серебра, а с храмовой иконы Казанской Божией Матери сняты драгоценные камни на сумму около 1 миллиарда рублей по ценам того времени. В 1926 году изъяты вещи, имеющие музейную ценность, а в 1930 году всё имущество храма передано в Госфонд. В 1932–1933 годах колокольня была разобрана, а в 1934 году храм закрыт. В период с 1940-х по 1980-е годы здание использовалось под архив.
В 1986–1991 годах проведена частичная реставрация храма по проекту Н.Н. Гончаровой. В 1991 году здание передано Русской Православной Церкви, после чего возобновлены богослужения. В настоящее время в храме два престола: главный — в честь Казанской иконы Божией Матери и приставной, освящённый в память о разрушенном храме в честь Введения во храм Пресвятой Богородицы, ранее стоявшем рядом с Казанским храмом. Главный престол был освящён в 1996 году архиепископом Ярославским и Ростовским Михеем.
В храме пребывает икона Божией Матери «Достойно Есть», написанная и освящённая на Святой Горе Афон, с вложенными в неё частицами мощей священномученика Харалампия и мученика Трифона.
