Первое упоминание о храме в селе Терновка относится к началу XIX века. Деревянный храм в честь Казанской иконы Божией Матери был построен в 1808 году. Здание выполнено в традициях русского церковного зодчества с использованием местных строительных материалов. Храм функционировал как приходской для жителей села и окрестных деревень.
В 1930-х годах, в период антирелигиозной кампании, храм был закрыт советскими властями. Здание подверглось разрушению, а на его месте была построена школа. Богослужебная жизнь в селе прервалась на несколько десятилетий.
Около 70 лет назад было возведено новое здание, которое первоначально использовалось для светских нужд. В разные годы в нем размещались сельскохозяйственное предприятие и районный Дом культуры. Архитектурные особенности здания свидетельствуют о типовом проекте советского времени.
В 1994 году здание было передано Русской Православной Церкви для организации приходской жизни. Проведены работы по реконструкции и адаптации помещения под храмовые нужды. Освящение храма малым чином совершено в марте 1995 года по благословению митрополита Воронежского и Липецкого.
Храм является однопрестольным, главный престол освящен в честь Казанской иконы Божией Матери. Престольные праздники отмечаются 21 июля (явление иконы) и 4 ноября (избавление Москвы от поляков в 1612 году). В храме находится почитаемый список Казанской иконы Божией Матери.
При храме действует воскресная школа для детей, организована библиотека православной литературы. Оказывается социальная помощь малоимущим жителям села. Богослужения совершаются по воскресным и праздничным дням согласно православному церковному уставу.