Первое упоминание о храме относится к 1390-м годам, когда на этом месте был возведён каменный собор во имя святых праведных Иоакима и Анны. Этот собор стал центральным элементом Якиманского монастыря, впервые упомянутого в грамоте 1504 года как «старая межа». В XVI веке к собору были пристроены приделы Воскресения Христова и святого Леонтия Ростовского.
В 1675 году монастырь пострадал от пожара, после чего был приписан к Лужецкому монастырю в 1676 году. В 1764 году, в ходе секуляризационной реформы Екатерины II, Якиманский монастырь был упразднён. В 1770-х годах каменный собор и его приделы подверглись капитальной перестройке.
В 1867 году старый Иоакимо-Анненский собор был снесён из-за ветхости, сохранилась лишь его северная стена, которая стала южной стеной нового храма, освящённого в честь Ахтырской иконы Божией Матери. Эта стена является одним из древнейших сохранившихся архитектурных элементов в Московской области.
В 1871 году по проекту архитектора Казимира Гриневского был построен новый каменный храм во имя святых праведных Иоакима и Анны. В 1893 году по проекту архитектора Павла Егорова к нему была пристроена колокольня. Храм имел два придела: во имя святителя Николая Чудотворца и в честь Ахтырской иконы Божией Матери.