До революционных событий начала XX века в селе Белебёлка существовал храм, здание которого в настоящее время используется как жилой дом. Восстановление церковной жизни в селе началось в 2007 году по инициативе и на средства местных жителей. Строительство нового деревянного храма было завершено между 2007 и 2009 годами. Чин освящения новопостроенного храма был совершён 6 ноября 2009 года в день праздника иконы Божией Матери «Всех скорбящих Радость» епископом Новгородским и Старорусским Львом.
Архитектурно храм представляет собой деревянное здание, характерное для северо-западного региона России. Он построен на берегу реки, что подчёркивает традиционное расположение православных храмов вблизи водоёмов. Престол храма освящён в честь Рождества Пресвятой Богородицы.