В 1889 году на станции Ртищево Рязано-Уральской железной дороги была построена однопрестольная деревянная церковь во имя святого благоверного великого князя Александра Невского. Строительство осуществлялось на пожертвования железнодорожных служащих и частных лиц в память чудесного избавления императорской семьи при крушении поезда 17 октября 1888 года. Торжественное освящение церкви состоялось 15 октября 1889 года, службу возглавил епископ Саратовский и Царицынский Павел. Церковь была небольшой, деревянной, обложенной кирпичом, и составляла одно здание со школой. Во время богослужений двери между помещениями открывались, объединяя их в единое пространство. Многие иконы и церковные принадлежности были пожертвованы частными лицами, среди которых начальник Тамбово-Саратовской железной дороги А. Н. Измайлов и начальник станции Ртищево А. П. Слепцов.
В ноябре 1905 года начался сбор средств на строительство новой каменной церкви. В 1910 году на средства Общества Рязано-Уральской железной дороги была построена новая каменная церковь, рассчитанная на 780 человек. Её возвели на месте старой деревянной школы-церкви, пристроив к уже существующей каменной колокольне. Старое деревянное здание школы-церкви перенесли во двор новой церкви. Стоимость строительства составила 20 тысяч рублей. Освящение храма состоялось 23—24 ноября 1910 года.
В марте 1923 года общее собрание рабочих и служащих Ртищевского железнодорожного узла постановило закрыть железнодорожную церковь, предложив использовать её помещение под школу науки и труда. В том же году Ртищевский горсовет передал здание церкви профсоюзным организациям железнодорожного транспорта под рабочий клуб имени В. И. Ленина и библиотеку. С церкви были сняты кресты и купола, закрашена церковная роспись, разрушена колокольня. В клубе работало 10 кружков и самодеятельный театр. С постройкой в 1935 году в Ртищево Дворца культуры железнодорожников клуб был закрыт, а здание заняли отдел тяги и отдел движения станции Ртищево, доведя его практически до полного разрушения.
В конце 1937 года, по решению Президиума Ртищевского райисполкома, бывшее здание церкви передали аэроклубу имени Героя Советского Союза М. В. Водопьянова и райсовету ОСОАВИАХИМа. Для занятий аэроклубовцы разместили в здании церкви учебный самолёт. В сентябре 1940 года здание было передано во временное пользование райкому и райисполкому под гараж, в марте 1941 года — под мастерские ртищевского райпромкомбината, затем под этапную комендатуру.
20 мая 1944 года распоряжением СНК СССР было утверждено разрешение Совета по делам Русской Православной Церкви на открытие в городе Ртищево одной православной церкви. На основании этого документа 23 июня 1944 года Исполком Ртищевского горсовета принял решение о передаче бывшего церковного здания коллективу верующих. 30 июня был произведён осмотр и приёмка здания церкви, а также подписан типовой договор между коллективом верующих и Исполкомом горсовета о принятии его в бессрочное бесплатное пользование. 1 июля 1944 года в городе Ртищево вновь открылась православная церковь.
С 1955 по 1967 год настоятелем ртищевской церкви был протоиерей Савва Котляров, отец митрополита Санкт-Петербургского и Ладожского Владимира. Сам будущий глава Санкт-Петербургской митрополии, приезжая к отцу, служил в храме чтецом. В городе Ртищево похоронена мать митрополита.
В начале 1990-х годов были восстановлены главы храма, заменённые в 2003 году, а в конце 1990-х — колокольня. Здание церкви признано памятником архитектуры и искусства. С 2003 по 2005 год проводился капитальный ремонт храма. 21 февраля 2006 года из Александро-Невской лавры Санкт-Петербурга в Александро-Невскую церковь была доставлена икона с частицей мощей святого благоверного великого князя Александра Невского, покровителя храма.
