Село Тарумовка было основано в 1786 году помещиком Андреем Михайловичем Тарумовым, который переселил сюда крестьян из центральных районов России. В 1856 году, по инициативе Тарумова, в селе была построена церковь, освящённая в честь его небесного покровителя — святого апостола Андрея Первозванного. При храме действовала церковно-приходская школа, способствовавшая распространению грамотности и духовного просвещения среди местного населения.
Первые документальные упоминания о богослужениях в храме датируются 1885 годом. Церковь стала центром духовной жизни села, объединяя прихожан и служа местом проведения религиозных обрядов и праздников.
В 1935 году, в период антирелигиозной кампании, храм был закрыт. Здание использовалось под различные светские нужды: в разные годы в нём размещались клуб, ресторан, кинотеатр, а затем автостанция.
В 1993 году, по просьбе жителей села, здание было возвращено Русской Православной Церкви. Силами районной администрации и прихожан были проведены восстановительные работы: здание облицевали кирпичом, возвели звонницу, территория храма была обнесена каменной оградой.
В 2005 году епископ Бакинский и Прикаспийский Александр (Ищеин) совершил чин великого освящения храма в честь святого апостола Андрея Первозванного. С этого времени храм вновь стал действующим и регулярно проводит богослужения.
Современное здание храма представляет собой кирпичное сооружение с традиционными элементами православной архитектуры. К храму примыкает звонница, территория обнесена каменной оградой. Внутреннее убранство храма включает иконостас и другие элементы, соответствующие канонам православной церкви.
