Первое упоминание о храме содержится в Никоновской летописи и связано с пожаром 1493 года, когда деревянная церковь Иоанна Богослова сгорела. Предполагается, что её появление было связано с фортификационным острожком, поставленным за пределами посада для защиты подступов к городу с восточной стороны. Церковь вошла в состав Москвы только в первой половине XVI века при строительстве восточной части Китайгородской стены. Название «под Вязом» связано с массивным вязом, росшим рядом с церковью и храмовым кладбищем до 1775 года.
В 1658 году на месте старого деревянного храма был возведён новый каменный храм. К 1825 году церковь сильно обветшала и была разобрана до основания. В 1825–1837 годах на её месте возвели новый двухъярусный храм в стиле ампир. Авторство проекта приписывается различным архитекторам, среди которых Иван Таманский и Осип Бове.
Нижний этаж освятили в 1829 году в честь Покрова Пресвятой Богородицы. В 1834 году его дополнили приделом во имя святителя Митрофана Воронежского, а в 1835 году — приделом Николая Чудотворца. Верхний храм открыли в 1837 году и освятили в честь Иоанна Богослова, два его придела — в честь евангелиста Луки и Обретения главы Иоанна Предтечи. Вскоре здание расширили с запада колокольней, а со стороны площади комплекс фланкировали двумя домами причта.
В 1882 году внутреннее убранство церкви обновили, заменив иконостасы. В 1925 году храм был закрыт, его главы разобрали, кресты демонтировали, а внутри соорудили дополнительные межэтажные перекрытия. В течение десятилетия ликвидировали также шпиль и верхний ярус колокольни. Перестроенные помещения занял архив, а с 1934 года в здании располагался Московский коммунальный музей, позднее реорганизованный в Музей истории и реконструкции Москвы.
Постановлением Правительства Москвы от 25 августа 1992 года храм был передан Русской Православной Церкви. Указом Святейшего Патриарха Московского и всея Руси от 16 сентября 2010 года храм был передан Российскому православному университету святого Иоанна Богослова. С 9 октября 2010 года у стен храма стали совершаться еженедельные молебные пения. В 2011 году были проведены работы по воссозданию купола с крестом на храме. В 2014–2016 годах проходила полноценная реставрация комплекса, во время которой были воссозданы утраченные фрагменты, отреставрированы стены и верхняя часть колокольни, усилены несущие перекрытия. Часть помещений была приспособлена для устройства аудиторий университета.
В настоящее время в богослужениях, совершаемых в храме, принимают активное участие студенты Российского православного университета, читая и поя на клиросе, неся пономарские послушания. В храмовом комплексе на Новой площади регулярно проходят экскурсии, выставки, конференции и встречи православной молодёжи.
