Первое упоминание о деревянной церкви на этом месте датируется 1628 годом. В 1729–1731 годах храм был перестроен с добавлением приделов во имя великомученика Георгия Победоносца и апостола Иуды. В 1824 году на средства купца Петра Ивановича Нестерова был возведён каменный храм, сохранившийся до наших дней. Храм был освящён в честь Воздвижения Креста Господня, с приделом во имя святого великомученика Георгия Победоносца.
Архитектурно храм представляет собой образец зрелого классицизма. Здание кирпичное, оштукатуренное, вытянуто по продольной оси. К центральному кубическому объёму примыкают прямоугольные в плане алтарь и трапезная с закруглёнными углами. Центральная часть увенчана широким барабаном с восьмью окнами и сферическим куполом. Колокольня, соединённая с трапезной коротким переходом, состоит из трёх четвериков с арочными проёмами и коротким шпилем. Фасады украшают четырёхколонные портики тосканского ордера с высокими фронтонами, а также декоративные элементы в духе раннего классицизма.
Внутреннее убранство храма включает росписи конца XIX века, выполненные в духе позднего академизма. В куполе изображена Новозаветная Троица, между окнами барабана — фигуры апостолов, под ними — евангельские сцены, на парусах — евангелисты, в алтаре — изображения святых в медальонах. Сохранились сборные иконостасы XIX — начала XX веков, выполненные в русском стиле, а также деревянная скульптура «Христос в темнице» XIX века.
В период советской власти храм оставался действующим и не подвергся разрушению. После закрытия в 1920-х годах Севского Троицкого монастыря, его монахини собирались на богослужения в Кресто-Воздвиженском храме. В 1951 году в переписке по делам Русской Православной Церкви Брянского облисполкома указывается, что храм посещали 52 монахини, и приход был богатым и многолюдным. Это был единственный приход на пять районов Курской, Брянской и Орловской областей.
В 2000 году на месте прихода был открыт Севский Кресто-Воздвиженский женский монастырь. Главной святыней обители является Молченская чудотворная икона Божией Матери, принесённая из Путивльского женского монастыря 7 мая 1612 года. После закрытия Троицкой обители в 1920-х годах икона хранилась у одной из монахинь, а после её смерти была передана в Кресто-Воздвиженский храм.
В 2005 году стали известны имена священников, служивших в этом храме и расстрелянных в 1937 году: протоиерей Варлаам, иеромонах Иоасаф, иеромонах Павел, священник Павел. Из них протоиерей Варлаам (Попов) в июле 2006 года был причислен к лику Святых Новомучеников и Исповедников Российских.
