В 1620 году местность, известная как пустошь Ошитково, была пожалована царём Михаилом Фёдоровичем братьям Елизаровым. В 1707 году зять Елизаровых, дворянин Семён Ерофеевич Алмазов, построил здесь деревянную церковь в честь преподобного Сергия Радонежского, после чего селение стало называться Сергиевским. В 1726 году его сын, Иван Семёнович Алмазов, получил разрешение на строительство каменной церкви, которая была освящена в 1730 году. Со временем село стало известно как Алмазово-Сергиевское.
В 1753 году село приобрёл известный заводчик Никита Акинфиевич Демидов, который начал обустраивать здесь усадьбу. В период с 1814 по 1819 годы был построен новый храм с тремя престолами: в честь Казанской иконы Божией Матери, святителя Николая Чудотворца и преподобного Сергия Радонежского. По преданию, на месте нынешнего храма ранее находилась конюшня, где неоднократно обнаруживали икону Казанской Божией Матери. В связи с этим Николай Никитич Демидов, сын Никиты Акинфиевича, распорядился построить храм именно на этом месте. С тех пор церковь в Алмазове стала именоваться Казанско-Сергиевской, хотя в народе её продолжали называть Сергиевской.
Архитектурный проект храма был разработан Андреем Гавриловичем Ткачёвым, бывшим крепостным, получившим образование в мастерской Доменико Жилярди. Храм выполнен в стиле классицизма и представляет собой крестообразный в плане четырёхстолпный храм, увенчанный световой купольной ротондой. Трёхъярусная колокольня завершается высоким и стройным шпилем. Храм является выдающимся образцом зрелого классицизма.
В 1930-е годы храм был закрыт, однако до 1941 года в нём иногда совершались богослужения. В июне 1941 года здание церкви передали детскому дому, позже кирпич и ограду продали колхозу.
В 1991 году в селе Алмазово была организована православная община, а в 1992 году назначен настоятель. В январе 1993 года разрушенное здание храма было передано в ведение Русской Православной Церкви, и началось восстановление святыни. Богослужения сначала совершались в соседней деревне Большие Жеребцы, а через полгода в церковной сторожке, построенной возле храма. 6 мая 1999 года митрополит Крутицкий и Коломенский Ювеналий совершил великое освящение Сергиевского храма и его центрального престола в честь Казанской иконы Божией Матери.
