Впервые село Растовцы и существовавшая в нём церковь святителя Николая Чудотворца упоминаются в писцовых книгах конца XVI века. В 1780 году на месте старой деревянной церкви была возведена новая каменная церковь во имя Казанской иконы Божией Матери. Строительство осуществлялось на средства помещицы Ксении Логвиновны Натальиной. Архитектурный облик храма сочетает черты провинциального зодчества с элементами классицизма.
В 1853 году храм подвергся капитальному ремонту. Были переделаны окна нижнего яруса, сооружена новая трёхъярусная колокольня и устроен придел во имя святителя Николая. Эти работы проводились при содействии местных помещиков Татаринова и Родичева. В 1875 году при храме была открыта церковно-приходская школа.
В конце XIX века храм продолжал обновляться благодаря усилиям помещиков Коптевых и лесопромышленника Горбачёва. В 1862 году в деревне Остроги, входившей в приход села Растовцы, на средства действительного статского советника Василия Ивановича Коптева была устроена домовая церковь во имя преподобного Сергия Радонежского.
После Октябрьской революции храм был закрыт в период гонений на церковь. Здание использовалось как склад, а затем было заброшено и начало разрушаться. 25 октября 1991 года Казанская церковь была передана общине верующих, что положило начало её восстановлению. Благодаря усилиям Епархиального фонда «Восстановление порушенных святынь» начались реставрационные работы.
К 2016 году храм находился в руинированном состоянии, заросший растительностью. В октябре 2016 года начались активные работы по реставрации. Казанская церковь была отремонтирована, хотя и в упрощённом архитектурном виде; в частности, у храма отсутствовали колокольня и трапезная.
6 октября 2019 года состоялось освящение отреставрированного храма. В настоящее время Казанская церковь в деревне Растовцы является действующей и продолжает служить духовным центром для местного населения.
