Преподобный Ферапонт, ученик Сергия Радонежского, основал обитель, посвятив её празднику Рождества Пресвятой Богородицы, что отражало особое почитание этого праздника как самим Ферапонтом, так и князем Андреем. Первоначально на территории монастыря был возведён деревянный храм, который в первой половине XVI века был заменён каменным собором Рождества Пресвятой Богородицы. Строительство нового собора, предположительно завершённое между 1524 и 1547 годами, осуществлялось при поддержке митрополита Макария. Собор представляет собой пятиглавый четырёхстолпный храм, возведённый на высоком подклете, с тремя алтарными апсидами. Купола храма первоначально были покрыты деревянной чешуёй, позднее — листовым железом, а кресты на главках позолочены.
В XVII веке монастырь подвергся разорению во время Смутного времени, однако впоследствии был восстановлен. В период с 1681 по 1684 годы была возведена каменная ограда с четырьмя круглыми башнями и двумя воротами, что укрепило обороноспособность обители. В 1761—1768 годах в северо-восточном углу ограды была построена квадратная башня, а в XVIII веке добавлена ещё одна круглая башня.
В 1812 году, во время Отечественной войны, монастырь был занят французскими войсками и подвергся разграблению. После изгнания захватчиков обитель была восстановлена и продолжила свою деятельность.
В 1922 году монастырь был официально закрыт, а его помещения использовались для различных хозяйственных нужд. В 1926 году библиотека, архив и предметы из ризницы были переданы в краеведческий музей. До конца 1929 года собор оставался открытым как приходской храм, однако 11 ноября 1929 года был закрыт. В последующие годы монастырь пережил вскрытие мощей основателя, разорение и запустение. В его помещениях размещались различные учреждения, включая фабрику и воинскую часть.
В 1961—1964 годах под руководством архитектора-реставратора Н.И. Иванова были проведены реставрационные работы, в ходе которых собор был освобождён от поздних пристроек, восстановлено позакомарное покрытие сводов и деревянное чешуйчатое покрытие глав, раскрыты древние оконные проёмы.
В 1994 году монастырь был возвращён Русской Православной Церкви, и 23 октября того же года состоялось первое после длительного перерыва архиерейское богослужение. 26 мая 1999 года были обретены мощи преподобного Ферапонта, которые ныне покоятся в соборе Рождества Пресвятой Богородицы. В апреле 2015 года на колокольне был установлен новый колокол весом более 2,5 тонн, а 9 августа того же года состоялось открытие отреставрированной колокольни, под которой находится усыпальница рода Савёловых.
