Точные сведения о дате основания монастыря разнятся. Согласно одним источникам, обитель возникла в начале XVIII века, когда в 1706 году, по указу Петра I, монахов Брянского Предтечева Песоцкого монастыря переселили на белопесчаные берега реки Снежети, где они основали скит. В 1717 году управление скитом было поручено монаху Серапиону, который в 1721 году получил разрешение на строительство деревянной церкви во имя Рождества Иоанна Предтечи. Церковь была возведена в 1722 году, что положило начало официальному существованию монастыря.
В последующие десятилетия монастырь переживал периоды упадка и восстановления. В 1724 году обитель была приписана к Брянскому Петропавловскому монастырю, но в 1727 году, по указу императрицы Екатерины I, вновь обрела самостоятельность. В 1732–1735 годах в монастыре был построен каменный Владимирский храм с двумя приделами – Иоанна Воина и Николая Чудотворца. В 1738–1755 годах храм был надстроен вторым этажом, в результате чего в нём стало четыре престола.
В начале XIX века Белобережская пустынь стала одним из центров российского старчества. Здесь подвизались ученики преподобного Паисия Величковского, включая схимонаха Феодора и старца Клеопу. В этот период в монастыре был принят новый устав, отличавшийся строгостью и стремлением к неукоснительному соблюдению монашеских обетов. Это способствовало притоку новых иноков и паломников, а также укреплению авторитета обители.
Во второй половине XIX века монастырь продолжил развитие. В 1861–1876 годах был построен новый пятиглавый двухэтажный каменный собор в честь иконы Божией Матери «Троеручица». В это же время были возведены каменная ограда с башнями, высокая пятиярусная колокольня, а также различные жилые и хозяйственные постройки. К началу XX века в обители подвизалось около 200 человек братии, а в праздничные дни монастырь посещало до пяти тысяч богомольцев.