Основание пустыни связано с именем преподобного Филиппа Ирапского, ученика преподобного Корнилия Комельского. В начале XVI века, около 1517 года, он основал обитель на берегу реки Андоги, при впадении ручья Малый Ирап, в сосновом лесу, известном как Красный Бор. После кончины преподобного Филиппа в 1537 году, его ученик инок Герман составил житие святого и инициировал написание его иконы. Однако вскоре после этого монастырь опустел, и лишь к 1541 году в обители вновь появились монахи, возглавляемые настоятелем, с храмом и часовней над мощами преподобного.
В 1541 году царь Иван IV Грозный пожаловал монастырю рыбные ловли на реках Колпи, Суде и Андоге, что способствовало укреплению его хозяйственной базы. Однако в период Смутного времени, между 1611 и 1618 годами, обитель была разграблена и сожжена литовскими отрядами. Погибли деревянные постройки, книги и житие преподобного Филиппа, составленное иноком Германом. Новое житие было написано в 1660-х годах по указанию царя Алексея Михайловича.
В 1668 году монахи вновь поселились в пустыни и начали её восстановление. В 1699 году на месте прежней деревянной церкви был возведён каменный храм Святой Троицы, в котором под спудом покоились мощи преподобного Филиппа. В 1828 году в этом храме был устроен придел во имя преподобного Филиппа Ирапского.
С 1911 по 1917 год обителью управлял игумен Леонид (Молчанов), который в 1918 году был расстрелян в Сольвычегодске и впоследствии прославлен в лике святых преподобномучеников. Перед Октябрьской революцией в монастыре проживало около 20 насельников под руководством иеромонаха Алипия. В 1927 году монастырь был закрыт, и в его зданиях разместился Андогский психоневрологический интернат. Населённый пункт получил название Зелёный Берег.
В 1996 году монастырь был возвращён Вологодской епархии. В 2000 году были обретены мощи преподобного Филиппа Ирапского, которые были перенесены в часовню его имени на Советском проспекте в Череповце. С мая 2016 года в пустыни начались активные восстановительные работы: отремонтированы трапезная, келейные корпуса, заменена кровля, воздвигнута и освящена часовня, реставрируется храм в честь Казанской иконы Божией Матери. С августа 2016 года в домовом храме, устроенном в помещении бывших летних покоев настоятеля, совершаются регулярные богослужения.
В 2019 году в день предпразднства Благовещения Пресвятой Богородицы был освящён домовой храм в честь преподобномученика Леонида (Молчанова), игумена Ирапского. Решением Священного Синода Русской Православной Церкви от 7 марта 2018 года был открыт Свято-Троицкий Филиппо-Ирапский мужской монастырь в посёлке Зелёный Берег Кадуйского района Вологодской области.
