Предшественником нынешнего храма являлась деревянная церковь, существовавшая на этом месте с начала XVIII века. Согласно историческим данным, в 1709 году, после Полтавской битвы, император Петр I посетил Рыльск и присутствовал в этой церкви на панихиде по погибшим воинам. Со временем деревянное здание обветшало, что обусловило необходимость строительства нового храма.
В 1866 году на средства горожан, а также купцов Никифора Каменева и Ивана Деменкова, была возведена новая каменная церковь Вознесения Господня. Архитектурный облик храма отличался наличием семи глав и колокольни. Основание здания имело форму, напоминающую ковчег. Фасады были оштукатурены и окрашены в белый цвет, крыша и купола покрыты луженой сталью, а завершения глав увенчаны золочеными луковицами и крестами. Внутреннее убранство включало кирпичный иконостас, облицованный резными деревянными элементами: наличниками, карнизами, поясками и полуколоннами. Царские врата были украшены изображениями ангельских ликов и покрыты позолотой. В храме было три престола: центральный — в честь Вознесения Господня, левый — во имя Знамения Божией Матери, правый — во имя святого великомученика Никиты.
После революции 1917 года храм подвергся изменениям в связи с антирелигиозной политикой советского государства. Здание было закрыто и использовалось под склады городского коммунального хозяйства. Во время оккупации Рыльска в 1942 году начались работы по восстановлению храма: были отремонтированы полы, алтарь, иконостас, стены окрашены заново. Богослужения возобновились, однако после освобождения города в 1943 году службы прекратились, и здание вновь использовалось под склад строительных материалов.
В 1985 году было принято решение о реставрации здания с целью размещения в нем картинной галереи. В ходе реконструкции были произведены работы по разборке кирпичного алтаря и переделке притвора. Однако в октябре 1990 года храм был возвращен Русской Православной Церкви. С 1991 года в Вознесенском храме возобновились богослужения, а также была открыта церковно-приходская школа. В последующие годы проводились работы по восстановлению внешнего и внутреннего облика храма, включая воссоздание росписей и установку нового иконостаса, покрытого сусальным золотом.
