В 1857 году заводчик Сергей Иванович Мальцев инициировал строительство каменного храма в честь Казанской иконы Божией Матери. Этот пятикупольный храм, выполненный в ковчегообразной форме, представлял собой архитектурную редкость того времени. В 1884 году на кладбище при храме была возведена каменная часовня. С этого времени ежегодно в день сошествия Святого Духа совершался крестный ход, установленный в память об избавлении от эпидемии холеры.
Летом 1931 года, в период антирелигиозной политики советской власти, храм был закрыт. Все его имущество и убранство были уничтожены. В последующие годы здание использовалось для различных хозяйственных нужд: в нём размещались клуб, спортзал, машинотракторная станция. Во время Великой Отечественной войны немецкие оккупационные силы использовали храм в качестве конюшни. В сентябре 1943 года, перед отступлением, немецкие войска взорвали здание храма. Оставшиеся стены и развалины были впоследствии разобраны местными жителями для хозяйственных нужд.
В 2002 году, по благословению епископа Брянского и Севского Феофилакта, было начато строительство нового храма-часовни в честь Казанской иконы Божией Матери на месте разрушенного. Новый храм был возведён из дерева и освящён в том же году. С момента открытия в нём регулярно проводятся богослужения, особенно в дни престольных праздников: 21 июля и 4 ноября, посвящённых Казанской иконе Божией Матери.
В настоящее время храм продолжает функционировать, являясь духовным центром для жителей посёлка Любохна и окрестностей. Здание поддерживается в хорошем состоянии, однако периодически требует проведения ремонтных работ и благоустройства. При храме действует приходская община, организующая различные мероприятия и поддерживающая духовную жизнь прихожан.