Село Лазарцево, ранее известное как Лазарцево-Скоропейно, впервые упоминается в исторических документах в XIX веке.В конце XVIII века в селе была построена деревянная церковь, однако точная дата её возведения неизвестна.В 1799 году на средства прихожан был возведён каменный храм во имя святых бессребреников Космы и Дамиана.
В период с 1813 по 1821 годы по инициативе и на средства Александры Николаевны Волынской была построена тёплая кирпичная церковь во имя святого апостола Андрея Первозванного. Второй престол храма был освящён в честь святых мучеников Адриана и Наталии.
В 1930-х годах, в период антирелигиозной политики Советского Союза, храм был закрыт. Купола и колокольня были демонтированы, здание использовалось под клуб. К 1990-м годам здание пришло в запустение.
В 2000 году храм был возвращён Русской Православной Церкви. Были проведены реставрационные работы: восстановлены купол и звонница. В 2005 году церковь была вновь освящена и открыта для богослужений.
