В 1831 году на территории, предназначенной для обывательских усадеб, стихийно возникло кладбище, которое впоследствии стало местом строительства Успенского храма. Инициатором возведения церкви выступил купец 1-й гильдии Иван Ганиловский, почётный гражданин Ставрополя. Проект храма был разработан в Главном управлении публичных заведений и утверждён в 1846 году. Строительство началось 1 июня 1847 года, а освящение состоялось 15 (28) августа 1849 года. Храм был построен в русско-византийском стиле по образцовым проектам, разработанным Константином Тоном. Крестово-купольный, бесстолпный храм имеет характерные черты данного стиля, включая кокошники на фасадах, килевидные обрамления окон и дверей, а также бочкообразные пилястры звонницы.
В 1870 году к храму был пристроен южный придел в честь Вознесения Господня, что придало архитектуре асимметричность. В 1999 году с северной стороны был добавлен придел в честь Иверской иконы Божией Матери, восстановив симметрию здания. Храм никогда не имел отдельной звонницы; колокола размещались в арке западного фронтона. Первоначальные колокола были отлиты на литейно-колокольном заводе ставропольского купца И.С. Ефимова. В 1990 году приход приобрёл новый набор колоколов, отлитых в Воронеже.
В середине XIX века храм был приписан к Троицкому собору и содержался за счёт пожертвований на поминовение усопших. В 1872 году было открыто священническое место, а в 1891 году храм получил статус приходского. В 1894 году при храме была открыта одноклассная церковно-приходская школа.
После революции 1917 года храм подвергся разграблению, а в 1922 году был захвачен сторонниками обновленческого раскола. В годы Великой Отечественной войны храм продолжал функционировать, несмотря на оккупацию города. В послевоенный период храм оставался действующим, несмотря на антирелигиозную политику государства. В 1981 году храм был признан памятником градостроительства и архитектуры.