В начале XX века на территории нынешнего посёлка Новая Улица существовал населённый пункт под названием Рождественский посёлок. В этом посёлке находился Святой Рождественский колодец, над которым была возведена деревянная часовня. Часовня принадлежала Спасо-Преображенскому подворью Севского Троицкого девичьего монастыря. В ней хранилось резное изображение Спасителя в терновом венце, которое впоследствии было перенесено в Кресто-Воздвиженский женский епархиальный монастырь города Севска. В 1930-х годах, в период антирелигиозной политики советской власти, часовня была разобрана и уничтожена, однако образ Спасителя удалось сохранить.
В 2003 году, в период возрождения религиозной жизни в России, на месте Святого Рождественского колодца была построена новая деревянная часовня во имя Всех Святых. Часовня была возведена в традициях деревянного зодчества и освящена в том же году.
Часовня расположена на окраине посёлка, рядом с кладбищем и мемориалом Великой Отечественной войны. К ней ведёт дорога от автомобильной трассы Севск-Комаричи, с поворотом по указателю «Кривцова», затем направо вдоль лесополосы, перед кладбищем — налево. Рядом с часовней находится купель, связанная с почитаемым источником.
