В 1750 году Никита Никитович Демидов, владелец железоделательного завода, приобрел у графа Аркадия Ивановича Бутурлина деревню Людиново Батоговской волости Брянского уезда. В том же году он инициировал строительство деревянной церкви во имя пророка Божия Илии, покровителя литейного дела. В 1761 году, в связи с увеличением числа работников завода, к храму был пристроен придел в честь пророка Елисея. К 1782 году церковь упоминается как деревянная, с приделом пророка Елисея, а на плане 1795 года она обозначена как выштукатуренная внутри и снаружи.
В 1802 году Петр Евдокимович Демидов, внук Н.Н. Демидова, начал строительство нового каменного трехпрестольного собора с каменной колокольней, чуть севернее старого деревянного храма. Главный престол был освящен в честь Казанской иконы Божией Матери, северный (левый) — в честь святителя Николая Чудотворца, а южный (правый) — в память первого деревянного храма, в честь пророка Божия Илии. Строительство было завершено и храм освящен в 1820 году при новом владельце Людиновского и Сукремльского железоделательных заводов Иване Акимовиче Мальцове.
Архитектурно собор представлял собой крестообразное в плане здание с трехъярусной колокольней, примыкающей к трапезной части. Высокий барабан центрального купола с двенадцатью большими арочными окнами покоился на четырех опорных столбах и завершался меньшим барабаном с шестью окнами и небольшим куполом, увенчанным восьмиконечным крестом. Апсида была украшена круглыми колоннами с чугунными капителями и базами коринфского ордера. Боковые алтари отмечены на кровле приделов небольшими световыми башенками прямоугольной формы с прямоугольными окнами, венчающимися миниатюрными куполами. Внутреннее убранство включало хрустальный иконостас, хрустальный престол главного алтаря с резной деревянной сенью, а также четыре паникадила с хрустальными подвесками. Над Царскими вратами находилась икона «Тайная вечеря», привезенная из Италии и приписываемая кисти Тициана или являющаяся качественной копией его полотна.
При соборе действовала приходская библиотека и «Общество любителей церковного пения». В конце XIX — начале XX века при храме функционировали два хора — взрослый и детский. Первым настоятелем собора был священник Николай Остроумов. В 1910 году упоминаются священники Николай Попов, Павел Нестеров и Георгий Сергиевский, последний из которых похоронен на кладбище около Лазаревского храма. В 1916 году к ним присоединился священник Симеон Баталин. Последним настоятелем до закрытия храма в 1930 году был протоиерей Павел Нестеров.
В 1930 году храм был закрыт, мотивируя это наличием в поселке двух церквей и недостатком культурно-просветительных учреждений. Во время Великой Отечественной войны храм был вновь открыт, но богослужения продолжались недолго. Восточная часть храма сгорела, и его снова закрыли. После войны здание неоднократно перестраивалось для использования в качестве культурного учреждения. В результате этих изменений первоначальный архитектурный облик был утрачен.
16 июня 1999 года храм был передан епархии. 16 декабря того же года здание было освобождено прежними владельцами, и началась расчистка территории и подготовка к передаче храма верующим. С этого времени начались работы по восстановлению собора.
