Первоначально на месте современного собора находился деревянный храм, посвящённый святому Георгию Победоносцу. К началу XVIII века он пришёл в ветхость, что послужило основанием для строительства нового каменного храма. Строительство было осуществлено в 1742–1744 годах на средства бригадира Афанасия Прокофьевича Радищева, который был похоронен в южном приделе возведённого им храма. Новый храм был построен в стиле барокко, с одной главой и световым барабаном, типичной конструкцией восьмерика на четверике.
Главный престол собора был освящён в честь Казанской иконы Божией Матери. Южный придел был посвящён великомученику Георгию Победоносцу, а северный — мученику Иоанну Воину. Собор обладал значительной святыней — древней иконой благоверного царевича Димитрия, написанной угличским мещанином И.И. Бурениным в 1685 году.
В 1812 году, во время Отечественной войны, собор оказался в эпицентре сражения при Малоярославце и получил серьёзные повреждения. Впоследствии он был восстановлен. В 1855 году на средства петербургского купца Гавриила Петровича Целибеева была построена новая трёхъярусная колокольня по проекту губернского архитектора А.Д. Скловского. В 1884 году была расширена трапезная. В 1887 году над дверями и за алтарём появились иконы Святого Георгия Победоносца, Святого Иоанна Воина, Казанской иконы Божией Матери, Спаса Преображения и Вознесения Господня. В 1899 году стены храма украсились живописными копиями картин с изображениями ликов святых работы московского художника М.С. Шварёва.
Приход собора охватывал не только городские улицы и железнодорожную станцию, но и окрестные селения: Радищево (Немцово), Верховье, Анисимово (Онисимовка), Терентьево и Чернолокня (Черная Локня). С 1899 года при соборе действовало церковно-приходское попечительство, занимавшееся просветительской и благотворительной деятельностью.
В 1930 году собор был закрыт, в нём разместился Дом крестьянина. Здание храма было перестроено, могила его строителя А.П. Радищева утрачена, колокольня снесена, а колокола использованы на нужды индустриализации. В последующие годы в здании собора размещался городской кинотеатр, причём в алтаре были устроены туалеты.
С 1995 года по просьбам верующих епархия ходатайствовала о возвращении храма для его восстановления и возобновления в нём богослужений. Однако долгое время это не представлялось возможным, поскольку в соборе размещался городской кинотеатр. Только в 2002 году храм был возвращён верующим, и началось его восстановление. В 2008 году началась реставрация собора, в ходе которой были изготовлены купол колокольни, восстановлены третий и четвёртый ярусы колокольни. В рекордные сроки был восстановлен восьмерик и установлен большой синий купол с золотыми звёздами. В 2011 году началась капитальная реконструкция здания бывшего кинозала, пристроенного к храму. Проведены работы по реставрации стен, подоконников, откосов, укреплению кирпичной кладки, усилению фундаментов.
