Собор Казанской иконы Божией Матери был основан в 1596 году на месте обретения чудотворного образа. Первый каменный храм построен в 1594–1595 годах по указу царя Федора Иоанновича. В 1774 году сооружение пострадало во время восстания Е.И. Пугачева.
В 1798–1808 годах возведен новый собор по проекту архитектора И.Е. Старова в стиле классицизма. Храм представлял собой пятиглавый крестово-купольный собор с тремя фронтонами и колоннадами. В 1910–1913 годах под собором устроен пещерный храм Рождества Пресвятой Богородицы на месте обретения иконы.
В 1932 году собор был разрушен. Археологические раскопки на месте храма начались в 2016 году. 21 июля 2016 года совершена закладка воссоздаваемого собора. Строительство велось по историческим чертежам XIX века. 21 июля 2021 года состоялось великое освящение восстановленного храма.
Архитектурный комплекс включает верхний храм в честь Казанской иконы Божией Матери и нижний пещерный храм Рождества Пресвятой Богородицы. В соборе находится список Казанской иконы Божией Матери, переданный из Ватикана в 2005 году.