Первое упоминание о церкви Иоанна Воина относится к 1625 году. Изначально деревянный храм находился на берегу Москвы-реки, ближе к Крымскому мосту, в районе пересечения современных Якиманского и 2-го Бабьегородского переулков. Он носил название «Церковь Иоанна Войнственника, что у Крымского двора на берегу».
В 1709 году, после разрушительного наводнения, царь Пётр I распорядился построить новый каменный храм в более безопасном месте, подальше от реки. Согласно преданию, строительство велось по чертежам самого Петра I. К 1711 году была завершена трапезная с южным приделом, а 12 июня 1717 года митрополит Рязанский Стефан Яворский освятил главный престол.
Архитектура храма сочетает элементы московского и украинского барокко с европейскими влияниями, характерными для петровской эпохи. Здание представляет собой двухсветный четверик, перекрытый восьмигранным сводом и увенчанный двумя уменьшающимися по размеру восьмериками и главой. Особую выразительность придают широкие полукруглые фронтоны в центральной части фасадов — так называемые полуглавия.
В 1754–1758 годах вокруг храма была возведена кованая узорная ограда на кирпичном фундаменте. В 1759 году завершено строительство северного придела. В 1779–1791 годах церковь была украшена фресками Гавриила Доможирова и иконостасом, предположительно выполненным по проекту Василия Баженова; однако эти произведения были утрачены в 1860-х годах.
В 1928 году в храм был перенесён иконостас из разрушенной церкви Трёх Святителей у Красных ворот. Примечательно, что храм Иоанна Воина на Якиманке никогда не закрывался для богослужений, даже в сложные периоды истории.
В настоящее время храм продолжает действовать, являясь центром духовной жизни района. В его стенах хранятся многочисленные святыни, включая чтимые иконы и частицы мощей более 150 угодников Божиих.