В 1771 году в тогдашнем селе Миловское была возведена каменная двухэтажная церковь Рождества Христова. Строительство осуществлялось на средства контр-адмирала Никифора Ивановича Молчанова, заменив собой прежний деревянный храм. Верхний этаж храма был посвящён Казанской иконе Божией Матери, а нижний — Рождеству Христову. Нижний храм был тёплым и отапливался, что позволяло проводить богослужения в холодное время года.
Во второй половине XIX века в архитектуру храма были внесены изменения: добавлены малые главы над углами четверика, а также перестроены верх колокольни и крыльцо. Эти элементы не сохранились до наших дней.
В 1930-х годах, в период антирелигиозной политики советского государства, храм был закрыт. Здание использовалось в качестве мебельного склада Комсомольского РайПО, что привело к утрате многих элементов внутреннего убранства и архитектурных деталей.
В 1988 году, в период возрождения религиозной жизни в стране, храм был вновь освящён архиерейским чином и возвращён верующим. С этого времени начались работы по восстановлению и реставрации здания, направленные на возвращение ему первоначального облика и функций.
Архитектурно храм представляет собой образец русского барокко. Здание состоит из основного четверика, полукруглой апсиды, трапезной и двухъярусной колокольни. Фасады украшены широкими пилястрами большого ордера, установленными на массивные пьедесталы с филёнками. Оконные проёмы обрамлены нарядными барочными наличниками с ушами, замковыми камнями и фартуками. Верх храма венчает пятиглавие с луковичными куполами на высоких восьмериках, причём центральный купол световой.
