История храмового строительства в Мордово восходит к 1830-м годам, когда в селе была возведена первая деревянная церковь. В 1861 году на средства прихожан была построена новая деревянная Архангельская церковь с приделом во имя святых Флора и Лавра. К 1876 году настоятелем храма был священник Василий Петров, а в приходе числилось около 3 609 прихожан.
В 1879 году было принято решение о строительстве нового деревянного храма, который был освящён в 1884 году в честь Вознесения Господня. Однако этот храм не мог вместить всех прихожан, и было решено возвести более просторную каменную церковь. Место для строительства было выбрано в излучине реки Битюг. Проект храма был утверждён губернскими архитекторами Александром Фёдоровичем Миролюбовым и Феофилом Александровичем Свирчевским. Строительство завершилось в 1909 году при епископе Тамбовском Иннокентии (Беляеве).
Архитектурно храм представляет собой монументальное пятикупольное сооружение с шатровыми главами и высокой трёхъярусной колокольней. Угловые башенки-колокольни повторяют форму центрального восьмигранного барабана и невысокого шатра. Фасады украшены стилизованными наличниками, кокошниками и орнаментальным узорочьем, напоминающими элементы древнерусского деревянного зодчества, воплощённого в камне.
Внутренним убранством храма занимался московский художник-иконописец Михаил Иванович Дикарев. Особую ценность представляет четырёхъярусный фарфоровый иконостас, предположительно изготовленный на Дулёвской фарфоровой фабрике по эскизам Дикарева. Существует версия, что иконостас изначально предназначался для собора Ново-Иерусалимского монастыря, но впоследствии был установлен в мордовском храме.
В 1939 году храм был закрыт и использовался в качестве зернохранилища. В начале 1945 года, по распоряжению архиепископа Тамбовского и Мичуринского Луки (Войно-Ясенецкого), богослужения в храме были возобновлены. После реставрации правый придел был освящён в честь святых Флора и Лавра, а левый — в честь святителя Питирима Тамбовского (ранее — в честь Смоленской иконы Божией Матери).