Первое упоминание о селе Ярлыково в исторических документах относится к 1535 году, когда оно фигурировало как владение князя Михаила Васильевича Горбатого. В духовной грамоте князя село описывалось уже с деревнями, что свидетельствует о наличии деревянного храма к этому времени. В 1540-х годах вдова князя Анна Горбатая передала Ярлыково Суздальской Покровской женской обители, что было подтверждено царскими грамотами Василия Шуйского (1606) и Михаила Фёдоровича Романова (1623).
Каменный храм в честь Смоленской иконы Божией Матери был построен в середине XVIII века (приблизительно 1725-1750 гг.). Архитектура храма отражает традиционные для того периода решения: простой кирпичный четверик с минимальным декором, шатровая колокольня и функциональная трапезная. Первоначальная симметрия здания была нарушена позднейшей пристройкой южного тёплого придела, необходимого для зимних богослужений.
Храм был расписан во второй половине XVIII века мастерами палехско-шуйской школы. На стенах основного объёма в два яруса размещались евангельские сюжеты, а на сводах - Страстной цикл. К сожалению, настенные росписи значительно пострадали, тогда как роспись сводов сохранилась лучше. В начале XIX века рядом со Смоленским храмом был построен второй каменный храм во имя святых мучеников Флора и Лавра, образовавший единый храмовый комплекс.
В советский период храмовый комплекс в Ярлыкове был закрыт около 1941 года. В июле 1945 года богослужения во Фроло-Лаврском храме были временно возобновлены, но в 1963 году храмы снова закрыли, подвергнув разграблению и перепланировке под складские помещения. Возвращение храмового комплекса верующим произошло в конце 1990-х годов, а первое богослужение в отреставрированной церкви святых Флора и Лавра состоялось в начале 1999 года.