Первое письменное упоминание о деревянной церкви на этом месте датируется 1632 годом. Название «в Листах» связано с тем, что рядом с церковью торговали печатники, развешивавшие свои лубочные картинки на ограде храма, демонстрируя таким образом свой товар. Изначально церковь была кладбищенской, но к середине XVII века стала полковым храмом стрельцов под руководством В. Пушечникова, которые инициировали строительство нового каменного здания.
Точная дата начала строительства каменной церкви неизвестна, однако к 1657 году рядом с деревянной церковью уже велось строительство каменного храма. Освящение нового здания состоялось в 1661 году. В 1667 году стрелецкий полк Василия Пушечникова был отправлен в Астрахань для участия в подавлении восстания Степана Разина. После возвращения из похода стрельцы получили от царя Алексея Михайловича 150 тысяч казённых кирпичей на завершение строительства полкового храма. Царь также пожаловал храму множество икон, значительную часть утвари и Царские врата, вывезенные из покорённой Орши.
В 1680 году к церкви была пристроена трапезная и придел во имя Покрова Пресвятой Богородицы в честь окончания Чигиринского похода. Однако в 1689 году в здании произошёл пожар, в результате которого треснула глава церкви. В том же году Пётр I, за участие стрельцов в подавлении бунта Шакловитого, пожаловал 700 рублей на восстановление пострадавшего здания.
В 1704 году храм получил статус адмиралтейского, поскольку рядом, в Сухаревой башне, размещалась Школа математических и навигацких наук. Существует предание, что Пётр I планировал облицевать здание церкви белым камнем, однако эта идея не была реализована.
В 1770 году была разобрана обветшавшая колокольня, а в 1774 году — трапезная с приделом. Новые трапезная и придел были отстроены в том же году. В 1788 году возведены ограда и каменная колокольня по проекту архитектора С. А. Карина. В отличие от большинства московских церквей, новая колокольня была расположена с восточной стороны храма. В 1773—1774 годах на средства купца П. В. Колосова был построен новый Покровский придел. Около 1796 года был сооружён придел во имя Иоанна Дамаскина, который в 1805 году переосвятили во имя святителя Алексия, митрополита Московского. В 1878 году был заменён иконостас.
В 1857 году трапезная подверглась переделке, был установлен новый иконостас и выполнены стенные росписи. В 1878 году росписи храма были обновлены, а стены отделаны под мрамор.
В 1930 году настоятель храма был арестован, а в 1938 году расстрелян. В 1939 году церковь была закрыта, купола снесены, а над трапезной надстроен дополнительный этаж. Первоначально в здании бывшей церкви разместили общежитие работников трамвайного депо, затем — скульптурные мастерские, для которых частично разобрали стены, а в полу вырыли ямы для хранения материалов. В 1957 году колокольня храма была снесена.
В 1972 году, в ходе строительства станции метро «Колхозная» (ныне «Сухаревская»), один из выходов которой начали возводить непосредственно под стенами бывшего храма, была нарушена гидроизоляция, что привело к появлению воды в подвалах и трещин на сводах. Архитекторы-реставраторы О. И. Журин и П. Д. Барановский добились приостановки работ и принятия решения о реставрации здания церкви к Олимпиаде 1980 года. В 1979 году из здания были выселены скульптурные мастерские, и под руководством О. И. Журина начались работы по восстановлению первоначального облика храма. Основные реставрационные работы были проведены в 1979—1980 годах: снесён надстроенный этаж, восстановлены своды, воссозданы главы и купола, установлены кресты, восстановлен оконный декор. Затем работы приостановились из-за идеи устроить в здании концертно-репетиционный зал Москонцерта. Был разработан проект перестройки, который, однако, не был реализован.
