В 1680-х годах на средства донского казака Иосифа Лося в центре Ельца была построена деревянная церковь во имя Казанской иконы Божией Матери. К концу XVIII века эта церковь обветшала, и на её месте около 1771 года был возведён Архангельский храм. В то же время, в связи с указом императрицы Екатерины II от 13 апреля 1770 года, предписывающим выносить кладбища за пределы городов, было основано новое городское кладбище при Большой Ливенской дороге, примерно в полуверсте от города. На этом кладбище в 1781 году была освящена новая каменная церковь во имя Казанской иконы Божией Матери.
Первоначально храм представлял собой небольшую часовню для отпевания усопших и не имел собственного прихода. В 1788 году жители Ямской слободы ходатайствовали о назначении к Казанскому храму постоянного священника, однако их просьба была удовлетворена лишь в первой половине XIX века, когда церковь получила штат священно- и церковнослужителей.
В 1789 году к западной части храма были пристроены притвор и трёхъярусная колокольня, завершённая четырёхгранным шпилем, что придало зданию вид, характерный для культовых сооружений того времени. Архитектурно храм представляет собой однонефную базилику, вытянутую с востока на запад, с алтарём, храмовой частью и притвором, объединёнными в единый объём. Фасады разделены пилястрами, апсида закруглена, что подчёркивает завершённость композиции.
В первой половине XIX века вокруг кладбища была возведена каменная ограда с вратами с северо-восточной стороны. В середине XIX века вблизи церкви была построена часовня-ротонда на месте перезахоронения останков ельчан, извлечённых при строительстве Вознесенского собора.
В советский период храм был закрыт, и его имущество подверглось разграблению. В 1971 году решением Липецкого облисполкома Казанский храм был поставлен под государственную охрану как памятник истории и культуры. На средства Елецкого отделения ВООПИиК была отреставрирована часовня на кладбище, восстановлены кровля и шпиль, а также установлена памятная доска.
