Храм во имя святого мученика Иоанна Воина был построен в 1830–1831 годах на территории Свято-Духовой Алатырской пустыни как зимняя церковь. Здание выполнено из кирпича, с примыкающими кельями, и располагалось к югу от Троицкой церкви. Архитектурный стиль сооружения соответствует ампиру. В период секуляризации монастырских земель в 1764 году пустынь была упразднена, но позднее восстановлена по инициативе местных жителей и в 1796 году приписана к Троице-Алатырскому монастырю.
В советское время, в 1920-х годах, храм был закрыт, а его здание частично разрушено — уцелел только основной объем без перекрытий. В последующие десятилетия территория пустыни использовалась для хозяйственных нужд, включая размещение водонапорной станции и садоводческих участков. Восстановительные работы начались в конце XX века, а в 2013 году храм был заново освящен после реконструкции.
Свято-Духова пустынь, в состав которой входил храм Иоанна Воина, играла значительную роль в христианизации мордовского населения в XVIII веке. В 1741 году здесь было учреждено новокрещенское правление, и к 1744 году все мордовские деревни Новотроицкой волости приняли крещение. В монастырский комплекс также входили церковь Сошествия Святого Духа (1833), колокольня и хозяйственные постройки, которые не сохранились до наших дней.
В настоящее время храм является действующим и относится к Алатырской епархии Русской Православной Церкви. Богослужения совершаются в восстановленном здании, которое сохраняет исторические архитектурные формы, характерные для первой половины XIX века.