Первоначально на месте современного храма находилась деревянная церковь, возведённая до 1614 года. В 1699 году на её месте был построен новый деревянный храм во имя Рождества Христова. К началу XIX века деревянная церковь пришла в ветхость, что послужило причиной строительства нового каменного храма. В 1826 году по инициативе и на средства местной помещицы княжны Надежды Дмитриевны Бибарсовой и её брата Якова Дмитриевича Бибарсова был возведён каменный храм во имя Рождества Пресвятой Богородицы с приделами во имя святителя Николая Чудотворца и праведных Симеона и Анны. Освящение храма состоялось 18 сентября 1826 года епископом Пензенским Амвросием (Орнатским).
Архитектурно храм представляет собой сооружение, выполненное в стиле позднего классицизма. План здания включает квадратный основной объём храма, прямоугольную трапезную со скруглёнными углами и квадратную колокольню, завершённую шпилем. С восточной стороны к основному объёму примыкает прямоугольная апсида. Фасады храма украшены четырёхколонными портиками тосканского ордера, цоколь трапезной обработан рустом. В интерьере храма парусный свод перекрывает основной объём, трапезная перекрыта коробовым сводом. Церковь является примером гармоничного сочетания простых геометрических форм, характерных для классицизма.
Вокруг храма в 1834 году была организована богадельня, официальным устроителем которой выступил князь Яков Дмитриевич Бибарсов. Фактически же организацией и управлением богадельней занималась княжна Надежда Дмитриевна Бибарсова. С 1834 по 1833 год она занималась подготовкой плана устроения богадельни при новой церкви. В 1834 году во флигеле были поселены первые 12 сестёр, в основном девицы и вдовы из ближних сёл. В 1842–1847 годах княжна Бибарсова передала богадельне дом, две десятины усадебной земли, четыре десятины пашни за околицей. В 1847 году Пензенская гражданская палата утвердила дарения, а епархиальное управление — устав богадельни.
В 1860-х годах богадельня была признана сестринской Рождество-Богородичной общиной. В 1861 году настоятельница Татьяна Мартыновна Мещерина приобрела 25 десятин пашни в полутора верстах от Ковыляя для переноса кельей в более тихое место. В 1862 году на новом участке был построен первый бревенчатый корпус и заложены фундаменты двух храмов — летнего и зимнего. В том же году скончалась княжна Бибарсова, которая была погребена при церкви в селе Ковыляй, позднее её гробница была перенесена в склеп монастыря, уничтоженный в советское время.
В советский период храм подвергся закрытию и частичному разрушению. В настоящее время храм восстановлен и действует. Он является объектом культурного наследия и памятником архитектуры позднего классицизма.
