Первое упоминание о храме Вознесения Господня в Рославле относится к концу XVIII века. Первоначально это была деревянная церковь, перенесенная из центра города на кладбищенскую территорию в связи со строительством каменного Благовещенского собора. В 1779 году перенесенный храм был освящен во имя Вознесения Господня.
К 1821 году деревянное здание пришло в ветхость, и купцы Д.С. Полозов и И.А. Мухин обратились к епископу Иосифу с прошением о строительстве каменного храма. Строительство велось медленно, и освящение новой церкви состоялось 13 декабря 1832 года. Храм был выполнен в стиле позднего классицизма с характерными архитектурными элементами: массивным четвериком, цилиндрическим барабаном-ротондой и двухъярусной колокольней.
В 1937 году храм был закрыт советскими властями, а в мае 1941 года передан под культурные нужды. В период немецкой оккупации церковь вновь открылась для богослужений. В послевоенные годы храм подвергся ремонту: были заменены деревянные конструкции, отремонтирована крыша и колокольня, построено новое каменное крыльцо.
Среди церковных святынь особо почитались иконы Божией Матери Ахтырская и Остробрамская, время появления которых в храме точно не установлено. В 1979 году на прилегающем кладбище был открыт мемориальный комплекс в память о жертвах Великой Отечественной войны.