Строительство храма было начато в 1895 году. Проект основывался на традициях русской храмовой архитектуры с использованием элементов византийского стиля, что было характерно для того времени. Для возведения здания использовались кирпичи, изготовленные на местных заводах, а также известняк, добываемый в окрестностях Россоши. Церковь была завершена и освящена в 1901 году. Она представляла собой крупное здание с пятью куполами, колокольней и просторным внутренним залом, вмещавшим до тысячи прихожан. В архитектуре храма особое внимание было уделено гармонии пропорций и богатству декоративных элементов, таких как резные наличники окон, карнизы и аркатурные пояса.
С началом XX века храм стал центром духовной жизни Россоши. В нем регулярно проводились богослужения, а также крестные ходы и другие церковные праздники. В 1910-х годах в храме был установлен новый иконостас, выполненный местными мастерами, что еще больше украсило внутреннее убранство. Значительная часть икон была написана в академическом стиле, что соответствовало канонам того времени.
Однако события Октябрьской революции 1917 года и последующий приход советской власти резко изменили судьбу храма. В 1920-х годах начались массовые конфискации церковного имущества, а в начале 1930-х годов храм был закрыт. Его здание использовалось в различных хозяйственных целях, что нанесло серьезный ущерб как внешнему облику, так и внутреннему убранству. Многие иконы и церковная утварь были утрачены или уничтожены. Несмотря на это, здание храма удалось сохранить, так как оно оставалось востребованным в качестве складского помещения.
С окончанием Великой Отечественной войны в 1945 году начался новый этап в истории храма. В 1947 году храм был возвращен православной общине. С этого момента начались реставрационные работы, целью которых было вернуть зданию его первоначальный вид. Постепенно восстанавливались иконостас, росписи, купола и колокольня. К 1960-м годам храм вновь стал полноценно функционировать и принимать верующих.
В последующие десятилетия церковь Святителя Николая Чудотворца продолжала оставаться важным духовным центром Россоши. Она играла важную роль в жизни православных жителей города, а также привлекала паломников из других районов Воронежской области. В 1990-е годы, после распада Советского Союза, начался новый виток реставрационных работ, включавший восстановление фресок и обновление церковной утвари. Эти мероприятия способствовали возвращению храму его исторического облика и духовного значения.