Строительство храма началось в 1870 году. Главным мастером выступил крестьянин Сергей Ефимович Симонов. Освящение храма состоялось 1 мая 1882 года. Главный престол был освящён в честь Вознесения Господня, правый придел — во имя Архангела Михаила, левый — в честь великомученика и целителя Пантелеимона. Храм был построен в Казацкой слободе, которая в 1964 году вошла в состав городской черты Старого Оскола.
Архитектурный облик храма выполнен в стиле эклектики с элементами классицизма. Здание крестовокупольное, четырёхстолпное, с трёхъярусной колокольней и полуциркульными апсидами. Над средокрестием расположен световой барабан с большим куполом, увенчанным яблоком и крестом. Фасады украшены декоративными элементами, включая архивольты, лопатки и килевидные кокошники. Окна арочной формы с ленточными наличниками и килевидным завершением. Внутреннее пространство перекрыто сводами различной формы: апсиды — конхами, приделы — цилиндрическими сводами, храмовая часть — полусферой, трапезная — сомкнутым сводом, притвор — крестовым сводом. Иконостас трёхъярусный, выполнен из резного дерева с позолоченной резьбой.
В конце XIX века при храме действовали библиотека, две земских школы, а к началу XX века — церковно-приходская школа. Здание церковно-приходской школы сохранилось до настоящего времени.
В 1938 году храм был закрыт и использовался под ссыпку зерна. Заявления группы верующих о неправомочных действиях со стороны местной власти дошли до Верховного Совета РСФСР. 11 октября 1938 года Старооскольский районный исполком постановил обязать управляющего конторой Заготзерно в месячный срок освободить здание церкви из-под зерна и предоставить церковь верующим. Однако на сентябрь 1940 года церковь числилась бездействующей.
Согласно заявлению Церковного Совета за 1944 год, религиозная община функционировала с 26 июля 1942 года. В 1960 году Старооскольский райисполком постановил закрыть Вознесенскую церковь, а религиозная община была снята с регистрационного учёта в 1961 году. Здание церкви было предписано переоборудовать под мастерские политехнического обучения.
В 1987 году было принято решение реставрировать здание как памятник архитектуры и открыть в нём музей этнографии. Однако благодаря ходатайству правящего архиерея Курского и Белгородского Ювеналия в 1988 году церковь была передана религиозной общине. 29 августа 1988 года на паперти прошло первое богослужение, а 28 сентября того же года храм был освящён. С 12 марта 1995 года храм является памятником архитектуры, построенным в эпоху эклектики с элементами классицизма. Восстановительные работы продолжались в течение 14 лет, и в 2011 году на храме были установлены новые купола.
