Село Казарь, находящееся на левом берегу реки Неручь, имеет древние корни, восходящие к временам вятичей. Название села, по одной из версий, связано с хазарами (казарами), которым вятичи платили дань в X веке. Другая версия связывает название с казаками, заселившими эту местность. В письменных источниках село упоминается с 1778 года.
Каменный храм во имя Рождества Пресвятой Богородицы с колокольней и приделом во имя святого великомученика Димитрия Мироточивого был построен в 1839 году на средства прихожан. В 1874 и 1893 годах церковь была оштукатурена. В 1883 году, стараниями церковного старосты крестьянина К. Т. Хотина, придел был устроен тёплым, что позволило проводить богослужения в холодное время года. При храме действовала земская школа.
В советский период храм был закрыт в 1935 году. 8 марта 1989 года здание было передано общине верующих. В настоящее время храм полностью восстановлен и функционирует как действующий приход.
