История храма начинается в первой половине XVI века. Согласно некоторым источникам, в 1531 году великий князь Василий III повелел возвести в Ваганькове каменную церковь в честь святителя Николая Чудотворца с приделом преподобного Сергия Радонежского. До этого на месте нынешнего храма, предположительно, существовала деревянная церковь, являвшаяся частью подворья Николо-Песношского монастыря.
В XVII веке храм подвергся значительным изменениям. В первой половине столетия старое здание было разобрано, и на его белокаменном подклете возведено новое сооружение. Согласно плану Меерберга 1660-х годов, церковь имела три шатра. К концу XVII века храм стал трёхпрестольным, с приделами во имя преподобного Сергия и сорока Севастийских мучеников.
В период с 1745 по 1759 годы храм вновь подвергся перестройке из-за ветхости. В 1755 году был освящён придел преподобного Сергия, а в 1759 году — главный престол. В 1782 году с западной стороны была пристроена каменная колокольня. Однако в 1792 году церковь сорока Севастийских мучеников была разобрана; ныне на её месте установлен деревянный крест.
Во время Отечественной войны 1812 года храм серьёзно пострадал от пожара. После этого он был приписан к другим церквям: сначала к Антиповской церкви в 1813 году, затем в 1814 году к соборной церкви Крестовоздвиженского монастыря. Главный престол был освящён в 1814 году, однако придел преподобного Сергия оставался невосстановленным длительное время. В 1842 году колокольня была разобрана, сохранился лишь нижний ярус притвора, и был обновлён сергиевский придел, где сохранился иконостас XVIII века.
Во второй половине XIX века храм фактически стал домовым: сначала при Московском дворянском институте и 4-й мужской гимназии, размещённой с 1849 года в доме Пашкова, затем при Румянцевском музее. Однако официально, с 1850 года, церковь не числилась домовой и находилась в ведении епархиального начальства. Службы в ней до 1895 года проводились только по большим праздникам.
В 1895 году храм начал обслуживать военнослужащих Артиллерийского ведомства Московского военного округа. Настоятелем 14 февраля 1896 года был назначен священник военного ведомства Леонид Чичагов. В этот период началась новая перестройка храма. До наших дней в храме сохранились настенные изображения четырёх евангелистов, выполненные отцом Леонидом Чичаговым. В храме также хранятся современные копии икон «Спаситель в белом хитоне» и «преподобный Серафим Саровский, молящийся на камне», написанных им.
В 1903 году был расширен притвор и возведена звонница в русском стиле по проекту архитектора Георгия Евланова. 7 мая 1910 года настоятелем храма был назначен Владимир Попов.
После революции 1917 года храм продолжал функционировать некоторое время. Однако в ноябре 1919 года богослужения были приостановлены. В апреле 1920 года представители музейного отдела Наркомпроса провели обследование храма, после чего было предписано не вывозить иконы и утварь без разрешения экспертов. 10 мая 1923 года директор Румянцевского музея Анатолий Виноградов обратился в Моссовет с просьбой передать здание храма под нужды музея, учитывая его архитектурную ценность. Решение о передаче здания под библиотеку или склад музейного имущества было принято 4 марта 1924 года. В последующие годы в церкви хранились книги, что привело к изменению внутреннего пространства храма.
В 1980-х годах в храме началась реставрация. Богослужения возобновились в 1992 году, а в 1993 году храм был освящён. В 1994 году, с нарушением охранного законодательства, был снесён дом причта.
