Официальные данные о дате основания храма отсутствуют. Однако, по имеющимся сведениям, в конце XIX — начале XX века в городе существовала церковь Николая Чудотворца. В народе этот храм назывался «Мирской». Он был выложен из тесаного камня, привозимого из села Бурлацкого Буденновского района. Строительство храма велось на народные деньги, и на его возведение было затрачено около 400 000 рублей. Внутреннее убранство церкви отличалось особым благолепием: царские врата открывались на колесиках, купольную часть поддерживали величественные колонны, а стены были расписаны в академическом стиле. В алтаре находилась фреска с изображением святого Петра, идущего по воде и утопающего, что также присутствует в Андреевском соборе города Ставрополя.
В годы советской власти храм был разрушен. Однако в 1943 году верующие открыли молитвенный дом, в который перенесли сохранившуюся Казанскую икону Божией Матери. Позднее этот молитвенный дом был перестроен в полноценный храм, который стал духовным центром и визитной карточкой православного Зеленокумска.