Первое упоминание о храме в Пречистенской слободе Малого Ярославца относится к XV веку. В завещании князя верейско-белозерского и ярославецкого Михаила Андреевича церковь названа Пречистой. В конце XVI — начале XVII века на этом месте уже стояла церковь во имя Успения Пресвятой Богородицы с престолом во имя Параскевы Пятницы.
В 1705 году на месте старого храма был построен новый деревянный. В 1756 году его заменили каменным с двумя престолами: во имя Успения Пресвятой Богородицы и во имя Иоанна Воина. Во время сражения 12 октября 1812 года церковь сильно пострадала, французы использовали её под конюшни. После отступления неприятеля храм был отремонтирован и заново освящён.
К концу XIX века здание пришло в ветхость. Перестройка осуществлялась по проекту губернского архитектора А.Д. Скловского. Завершение работ приурочили к 100-летнему юбилею Малоярославецкого сражения, храму присвоили статус храма-памятника. Средства собирались по всей России с высочайшего соизволения императора Николая II.
10 октября 1912 года, накануне юбилейных торжеств, новый храм освятил епископ Калужский и Боровский Тихон. 11 марта 1929 года уездный исполком принял решение о закрытии церкви и передаче здания под Дом культуры и обороны. Впоследствии здесь размещались клуб ОСОАВИАХИМа и кинотеатр.
Богослужебная жизнь возобновилась в 1947 году. С тех пор храм действует непрерывно, сохраняя традицию поминовения воинов, павших в Отечественной войне 1812 года.
