В 1676 году в Чёрной слободе Ельца была построена деревянная церковь во имя преподобного Сергия Радонежского с приделом святого Михаила Малеина. Место для храма было выбрано в соответствии с преданием, связывающим его с событиями 1380 года, когда елецкая дружина собиралась здесь перед Куликовской битвой.
К 1691–1693 годам на месте сгоревшего Сергиевского храма была возведена новая деревянная церковь, освящённая во имя Владимирской иконы Божией Матери. Строителем храма был священник Иаков, ранее служивший в Сергиевской церкви. Южный придел нового храма был посвящён преподобному Сергию Радонежскому, а северный — святому Михаилу Малеину.
В 1769 году сильный пожар уничтожил значительную часть Ельца, однако Владимирская церковь чудесным образом уцелела. После этого было принято решение о строительстве каменного храма на расстоянии около 20 метров севернее старой деревянной церкви. Старая церковь была продана в село Злобин Воргол Елецкого уезда, а на её месте установлен каменный столб.
Строительство нового каменного храма началось в 1770-х годах. В 1779 году был освящён придел во имя преподобного Сергия Радонежского, а в 1784 году — главный престол в честь Владимирской иконы Божией Матери. В 1811 году был освящён северный придел во имя святого Феодосия Тотемского.
В 1809 году к храму была пристроена четырёхъярусная колокольня высотой около 40 метров. В 1829 году архитектор И.И. Шарлемань разработал проект расширения трапезной части храма, который был реализован в 1841–1844 годах. В этот период были расширены храмовая и трапезная части, значительно увеличена алтарная часть, а внутренние стены расписаны священными изображениями.
В середине 1860-х годов к храму были пристроены ещё два придела: южный — во имя святителя Тихона Задонского, устроенный на средства купца Николая Васильевича Валуйского, и северный — во имя святого Михаила Малеина, сооружённый на средства мещанина Якова Климовича Гаврилова. В 1885–1888 годах внутренние росписи храма были обновлены, а прежние иконостасы заменены новыми.
Владимирский храм обладал значительным числом почитаемых святынь, включая иконы Владимирской Божией Матери, «Утоли моя печали», Спаса Нерукотворного, а также старинное Евангелие, напечатанное во времена царя Фёдора Алексеевича.
