Первая деревянная церковь в селе Козлятское была построена в 1675 году. Впоследствии, в связи с увеличением числа прихожан и необходимостью более прочного сооружения, было принято решение о строительстве каменного храма. Проект нового каменного храма был разработан пензенским губернским архитектором Андреем Семёновичем Федотовым и утверждён в 1880 году. Строительство храма завершилось в 1899 году, а колокольня была возведена в 1911 году.
Архитектурный облик храма выполнен в русско-византийском стиле с элементами эклектики. Основной объём здания представляет собой крестово-купольную композицию с пятиглавием. Центральный световой двухъярусный барабан выполнен в виде двух убывающих восьмигранных барабанов, нижний из которых украшен перспективными арками оконных проёмов. Нижние объёмы составных частей церкви, подведённые под общую крышу, служат основанием для шатровой колокольни и пяти восьмериковых завершений храма, увенчанных луковичными главками. В декоративном оформлении широко использованы элементы древнерусской архитектуры, такие как кокошники.
Храм имеет три престола: центральный — в честь Воздвижения Честного и Животворящего Креста Господня, правый — во имя святителя Митрофана Воронежского, левый — в честь Владимирской иконы Божией Матери.
В 1934 году, в период антирелигиозной кампании, храм был закрыт. В 1945 году он был возвращён Русской Православной Церкви и вновь открыт для богослужений. С 1978 года настоятелем храма был архимандрит Алексий (Казаков), в схиме Серафим (1933–1988), один из наиболее известных пензенских пастырей второй половины XX века. Последнее освящение храма было совершено в 1980-х годах епископом Пензенским и Саранским Серафимом (Тихоновым).
В 2013 году, по решению митрополита Вениамина, храм был преобразован в скит Нижнеломовского Казанского мужского монастыря. В настоящее время храм действует, в нём регулярно совершаются богослужения. Храм открыт ежедневно с 8:00 до 18:00.