В 50-х годах XIX века, в период управления Войскового Наказного Атамана Михаила Григорьевича Хомутова, возникла инициатива строительства церкви во имя великомученика Георгия Победоносца на Колодезной площади. Однако казаки особого «рабочего полка» настояли на возведении храма на территории их расположения, то есть на Сенной площади, взамен ветхой полковой часовни. В результате, в 1864 году была построена деревянная церковь во имя святых равноапостольных Константина и Елены. Материалы для строительства были частично получены от разобранных ранее деревянных Троицкой и кладбищенской церквей.
К началу XX века деревянная церковь обветшала, что побудило общину к строительству нового каменного храма. В 1903 году был образован попечительский совет под председательством Александра Ивановича Сюсюкина, который организовал сбор средств на строительство. Проект кирпичной церкви разработал архитектор Владимир Николаевич Куликов. Место под строительство было освящено 5 марта 1906 года. К осени того же года здание было возведено вчерне, а 10 мая 1909 года храм был освящен кафедральным протоиереем Василием Петровым.
Церковь была трехпрестольной: главный престол во имя Святой Троицы, левый придел во имя святых равноапостольных Константина и Елены, правый придел во имя святителя Николая Чудотворца. Архитектурно храм выполнен в старорусском стиле, с квадратным основным зданием, соединенным с высокой каменной колокольней. Многие иконы были написаны донским иконописцем Михаилом Волковым.
После установления советской власти храм некоторое время оставался действующим. Однако в 1933 году он уже значился как «бывший». В период немецкой оккупации в августе 1942 года храм был вновь открыт для богослужений. В 1950-х годах, под руководством митрополита Вениамина (Федченкова), в храме были проведены внутренние изменения: установлены три престола, а также проведены работы по отделке и украшению.
В 1960–1980-е годы, после закрытия других церквей в Новочеркасске, Константино-Еленинский храм стал наиболее посещаемым. В начале 1990-х годов были проведены работы по позолотке крестов и маковок, а также реставрации иконостаса и других церковных предметов. В 1992 году здание было поставлено на государственную охрану как памятник истории и культуры регионального значения.
