Первое документальное упоминание об обители датируется 1505 годом. Точная дата основания монастыря неизвестна, что обусловлено утратой старинных монастырских документов. В 1614 году настоятель монастыря игумен Феодосий, направляясь в Москву с целью переписи ветхих грамот, был убит, а документы утрачены.
В период Смутного времени монастырь подвергся разорению польско-литовскими войсками. Восстановление обители началось при игумене Корнилии и продолжилось при игумене Мисаиле. В 1618 году игумен Корнилий, ранее настоятель Новгород-Северского Спасского монастыря, вместе с братией переехал в Рыльский монастырь, где пребывал до 1620 года.
К началу XVIII века деревянные постройки монастыря обветшали. В 1733 году рыльский купец Прокофий Герасимович Шелехов заложил первую каменную церковь во имя святителя Николая, завершённую и освящённую в 1783 году в честь праздника Крестовоздвижения. В 1747 году была построена вторая каменная церковь во имя Живоначальной Троицы по прошению путивльской и рыльской помещицы Анны Забелиной. Третий храм, в честь святителя Николая, был воздвигнут в 1753 году стараниями игумена Матфея (Лукашева). В этот же период была сооружена пятиярусная колокольня со Святыми вратами в нижней части, впервые упомянутая в описи 1764 года. В среднем ярусе колокольни были установлены часы, а в верхнем — набор из семи, а позднее девяти колоколов.
В 1784 году при монастыре было открыто духовное училище, которое в 1820 году стало четырёхклассным, а в 1876 году было перемещено в Рыльск. В 1794 году был построен ещё один храм в честь Ахтырской иконы Божией Матери, впоследствии переименованный в честь Тихвинской иконы. В 1824 году обитель посетил император Александр I.
В 1925 году, в период антирелигиозной политики советского государства, монастырь был закрыт. С 5 октября 1941 по 30 августа 1943 года территория монастыря находилась под оккупацией немецко-фашистских захватчиков. После войны здания монастыря использовались различными государственными учреждениями, однако к 1978 году большинство из них пришло в полуразрушенное состояние.
17 июня 1991 года обитель была возвращена Русской Православной Церкви, и уже 16 октября того же года в Николаевском храме возобновились богослужения. Восстановлением монастыря занимался архимандрит Ипполит (Халин). В 1999 году в 17 километрах от Рыльска, в селе Тимохино, был образован скит (подворье) Свято-Николаевского монастыря.
