Село, основанное в конце XVII века у новой водяной мельницы на реке Тихая Сосна, входило в состав Острогожского уезда и принадлежало помещикам Тевяшовым.
Архитектурно храм представляет собой каменное здание, характерное для начала XIX века. Строительство храма было инициировано для обеспечения духовного окормления местного населения и укрепления православной веры в регионе.
В начале XX века село Новая Мельница имело развитую инфраструктуру, включая два общественных здания, школу грамоты, пять ветряных мельниц, конную крупорушку и винную лавку. Храм играл центральную роль в духовной жизни села, являясь местом проведения богослужений, церковных праздников и обрядов.
В советский период многие религиозные учреждения подверглись закрытию или переоборудованию под другие нужды. Информация о судьбе храма преподобного Иоанна Ветхопещерника в этот период ограничена, однако известно, что многие храмы в регионе были закрыты или использовались не по прямому назначению.
В постсоветское время начался процесс возрождения религиозной жизни в России. В настоящее время храм преподобного Иоанна Ветхопещерника включен в программу финансирования за счет средств федерального бюджета.
