Храм Казанской иконы Божией Матери в селе Ржавец относится к числу памятников церковной архитектуры, зафиксированных в исторических источниках. Первые упоминания о храме в данном регионе относятся к XVII веку, однако точная дата постройки каменного здания не установлена. Известно, что в 1693 году местный помещик Петр Васильевич Головин возвел каменную церковь в честь Казанской иконы Божией Матери после явления образа у источника. Храм посещался Александром Суворовым во время его владения селом.
В 1859 году к церкви была пристроена теплая трапезная с престолом Святителя Николая и колокольня. В 1870 году на церковные средства сооружена ограда. В советский период храм был закрыт и переоборудован под авторемонтную мастерскую, что привело к утрате первоначального интерьера. Реставрационные работы начались в 1990-е годы.
Архитектурный облик храма характерен для церковного зодчества XVII века с элементами поздних перестроек XIX столетия. Здание сложено из кирпича с использованием бутового камня в фундаменте. Композиция включает основной объем, трапезную и колокольню, завершенную шатром. В декоре фасадов присутствуют килевидные кокошники и наличники с полуколонками.
Богослужебная жизнь в храме возобновилась в конце XX века после длительного перерыва. Церковь сохраняет статус действующего храма, регулярно совершаются богослужения по полному кругу. Приход относится к Владимирской епархии Русской Православной Церкви.