Строительство храма было инициировано в начале XIX века в связи с потребностью православной общины города в новом месте для богослужений. В 1808 году, при активном участии воронежского купца и мецената Самуила Никитича Мещерякова, храм был возведен и освящен во имя пророка Самуила. Мещеряков, известный своей физической силой и прозванный в народе «Чугунным», внес значительный вклад в развитие города и его духовной жизни.
Архитектурно храм представляет собой однокупольное сооружение высотой 26,1 метра, выполненное в стиле барокко. Основой композиции является форма «корабля», характерная для православных храмов того периода. Фасады здания украшены декоративными элементами, типичными для барочной архитектуры, что придает храму величественный и торжественный облик.
Рядом с храмом пророка Самуила располагался Вознесенский храм, построенный в 1808–1813 годах. Оба храма обслуживались одними и теми же священнослужителями и воспринимались как единый духовный комплекс. Вознесенский храм был выполнен из камня в классическом стиле и имел трехъярусную колокольню.
Вокруг храмов находилось Чугуновское кладбище, названное так по прозвищу Самуила Мещерякова. Кладбище подразделялось на несколько частей: справа располагались лютеранские захоронения, по центру — военное кладбище, левее хоронили больных и арестантов. Чугуновское кладбище было самым крупным в Воронеже и славилось своим благоустройством.
В 1929 году Вознесенский храм был закрыт, а в 1930 году храм пророка Самуила был преобразован в приют для беспризорников. С 1943 по 1951 годы в здании храма размещался стекольный завод. К концу 1950-х годов церковь была фактически разобрана. В 1960 году на территории бывшего Чугуновского кладбища началось строительство спортивного комплекса «Юбилейный».
В начале 1990-х годов в полуразрушенных зданиях храма располагались мастерские художников и скульпторов. В 1993 году храм был передан в ведение Воронежской епархии. В настоящее время храм является памятником воинам-пограничникам, павшим при защите рубежей Родины. 30 апреля 2016 года на храм были установлены пять новых куполов синего цвета, заменивших старый золотой купол.
