Строительство храма было инициировано в середине XIX века. Причиной послужило желание горожан почтить память усопших в православной вере. Местом для возведения храма было выбрано кладбище, стихийно возникшее на территории, предназначенной под обывательские усадьбы согласно плану города 1831 года. Инициатором строительства выступил купец 1-й гильдии Иван Ганиловский, а благословение на строительство дал епископ Кавказский и Черноморский Иеремия.
Проект храма был разработан в Главном управлении публичных зданий и утвержден в 1846 году. Строительство началось в 1847 году, а освящение храма состоялось 15 (28) августа 1849 года. Архитектурно храм выполнен в русско-византийском стиле, характерном для образцовых проектов Константина Тона. Он представляет собой крестово-купольное бесстолпное здание с кокошниками на фасадах, килевидными обрамлениями окон и дверей, а также бочкообразными пилястрами звонницы. Особенностью архитектурного решения является непропорциональность площади и высоты храма, что придает ему величественный облик.
В 1870 году с правой стороны храма был пристроен придел в честь Вознесения Господня, освященный в 1873 году. Это придало зданию асимметричность, которая была устранена в 1999 году путем пристройки с северной стороны придела в честь Иверской иконы Божией Матери.
Первоначально храм был приписан к Троицкому собору и не имел собственного причта. В 1872 году было открыто священническое место, на которое был назначен священник Капитон Розов. В 1891 году храм получил статус приходского, что способствовало его дальнейшему развитию. В 1894 году при храме была открыта одноклассная церковно-приходская школа.
В 1922 году храм подвергся разграблению, а в последующие годы оказался в руках сторонников обновленческого раскола. Несмотря на это, он продолжал функционировать и стал единственным действующим храмом в городе после закрытия Варваринской церкви. В годы Великой Отечественной войны храм оставался открытым и оказывал помощь населению.
В послевоенный период храму удалось избежать закрытия, несмотря на антирелигиозную политику государства. С 1990 года начался новый этап в жизни храма, связанный с его восстановлением и развитием. Были проведены реставрационные работы, установлены новые купола и кресты, построена часовня в честь иконы Божией Матери «Живоносный источник», а также благоустроена прилегающая территория.
В 2021 году на территории храма было построено новое здание Православной Свято-Успенской гимназии, что стало важным этапом в развитии духовного образования в Ставрополе. Гимназия функционирует под эгидой Ставропольской и Невинномысской епархии Русской Православной Церкви и продолжает традиции православного воспитания и образования.