Строительство храма было завершено в 1904 году. Он был возведён по типовому проекту, разработанному архитектором К.А. Тоном в 1838 году. Архитектурный стиль храма можно отнести к эклектике. Первоначально храм был пятиглавым, однако в советский период четыре малые главы были утрачены. Главный храм был освящён в честь Живоначальной Троицы, придел — в честь Успения Пресвятой Богородицы. Через несколько лет были возведены отдельно стоящая колокольня и второй придел — во имя великомученика Димитрия Солунского.
В начале 1930-х годов, в период массовых гонений на религию, храм был закрыт. Купола и колокольня были снесены. Здание храма использовалось колхозом как зернохранилище и склад удобрений.
В 1989 году, по просьбе Ковылкинского райисполкома, здание церкви было передано местному православному приходу. По благословению архиепископа Пензенского и Саранского Серафима (Тихонова) храм был наименован в честь великомученика Димитрия Солунского, и в нём начали проводиться богослужения. Силами прихода были проведены необходимые ремонтные и реставрационные работы. В 2004 году, на 100-летие храма, во время праздничного богослужения он был освящён архиепископом Саранским и Мордовским Варсонофием.