Первоначальный деревянный храм во имя святого апостола Андрея Первозванного был построен в 1718 году по указу Петра I. К середине XVIII века здание обветшало, и в 1742 году было принято решение о строительстве нового храма. Однако из-за различных обстоятельств строительство затянулось, и только в 1787 году собор был перенесён в Успенскую церковь в Купеческом селении, которая стала называться Андреевским собором.
В 1805 году началось строительство нового каменного собора по проекту архитектора Андрея Дмитриевича Захарова. Работы продолжались до 1817 года, и 26 августа того же года собор был освящён епископом Ревельским Филаретом. Первоначально храм был однопрестольным, но в 1853–1855 годах к нему были пристроены два придела: в честь апостолов Петра и Павла и в честь Покрова Пресвятой Богородицы, что придало зданию крестообразную форму.
В 1876–1877 годах собор был расширен на запад на средства почётного гражданина Владимира Дмитриевича Никитина. Одновременно был обустроен соборный сквер, ограждённый решёткой, изготовленной на заводе «Сен-Галли» в Петербурге на пожертвования Иоанна Ильича Сергиева. В 1897 году были удлинены к востоку боковые приделы собора, а 5 декабря 1899 года освящена часовня в честь Тихвинской иконы Божией Матери, построенная слева от входа в храм.
С 1855 по 1908 год в Андреевском соборе служил святой праведный Иоанн Кронштадтский. Его пастырская деятельность привлекала множество верующих со всей России. В 1903 году собор посетил император Николай II с семьёй, а в 1908 году, после смерти Иоанна Кронштадтского, его тело было выставлено в соборе для прощания.
После революции 1917 года начались гонения на церковь. В 1922 году из собора были изъяты церковные ценности, включая 49 пудов серебра. В 1931 году храм был закрыт, а в 1932 году здание было снесено. На его месте в 1955 году был установлен памятник Ленину, который в 2001 году был перенесён в сквер Юного ленинца.
В 2003 году на месте разрушенного собора был установлен памятный камень с капсулой, содержащей землю из святых мест России, и надписью: «На этом месте стоял собор Андрея Первозванного, в котором 53 года служил святой праведный отец Иоанн Кронштадтский». В 2018 году начались археологические изыскания с целью восстановления собора в его первоначальном виде по проекту А.Д. Захарова.
