Село Пертово упоминается в писцовых книгах Шацкого уезда за 1617 год как населённый пункт с двумя деревянными церквями: Успения Пресвятой Богородицы и Николая Чудотворца. К 1676 году в селе действовала только Успенская церковь с приделом в честь Николая Чудотворца, не имевшая собственного причта; богослужения совершал священник из соседнего села Пузосы.
В первой половине XIX века село Пертово находилось во владении потомственного почётного гражданина Ивана Михайловича Савостьянова и его сыновей. Старший из них, коллежский советник Константин Иванович Савостьянов (1805–1871), в 1835 году получил потомственное дворянство и инициировал масштабное строительство в селе. В 1850 году, по его инициативе и на его средства, на месте обветшавшей деревянной Успенской церкви был возведён новый каменный храм во имя Смоленской иконы Божией Матери с приделами в честь святого благоверного князя Александра Невского и святителя Николая Чудотворца.
Архитектурно храм выполнен в стиле классицизма и относится к группе крупных классицистических храмов, прототипом которых, возможно, является церковь Троицы Живоначальной (1790–1815) в селе Новотроицкое Липецкой области. Схожие проекты были реализованы в Раненбурге (ныне Чаплыгин), Спасске, Кирсанове и Вышенском монастыре. Предположительно, на архитектурное решение храма в Пертово оказал влияние храм в Вышенском монастыре.
К началу XX века при храме действовала церковно-приходская школа, функционировало церковно-приходское попечительство, имелась церковная библиотека. Штат церкви состоял из священника, дьякона и псаломщика. Для священнослужителей были выстроены дома на церковной земле.
В середине 1930-х годов храм был закрыт, имущество разграблено, а в здании разместились мельница и мастерская по ремонту сельскохозяйственной техники. Оконный проём горнего места в главном алтаре был выломан для въезда техники. К 1960-м годам здание храма осталось без крыши, окон и дверей, и было заброшено.
