В 1295 году, согласно преданию, охотник из города Рыльска обнаружил икону Божией Матери «Знамение» у корней большого вяза на берегу реки Тускарь. При поднятии иконы из-под неё забил источник, существующий и поныне. На месте обретения иконы была сооружена деревянная часовня. Впоследствии, по указу царя Фёдора Иоанновича, в 1597 году на этом месте был основан монастырь во имя Рождества Пресвятой Богородицы.
В период Смутного времени, в 1611 году, монастырь подвергся разрушению в результате набегов крымских татар. В 1618 году обитель была восстановлена, и в ней продолжились богослужения. В XVIII веке монастырь пережил реформы Петра I и Екатерины II, которые отразились на его состоянии и деятельности.
В XIX веке на территории монастыря были возведены новые каменные храмы. В 1852 году был построен собор Рождества Пресвятой Богородицы, а в 1875 году — храм во имя Знамения Божией Матери. Архитектурный ансамбль монастыря включал в себя также колокольню, Святые врата и братские корпуса.
После революции 1917 года монастырь был закрыт в 1924 году. В последующие годы его здания использовались для различных нужд, включая размещение санатория. Многие сооружения были разрушены или пришли в упадок.
Возрождение монастыря началось в 1989 году, когда он был возвращён Русской Православной Церкви. С этого времени проводятся работы по восстановлению утраченных зданий и сооружений. В 1990 году была отреставрирована надкладезная церковь в честь иконы Божией Матери «Живоносный Источник», в 1991 году — колокольня над Святыми вратами и монастырская трапезная. В 1994 году возобновлён крестный ход со списком иконы.