Возникновение Кресто-Воздвиженского храма относится к XVII веку. Первоначально на этом месте существовала деревянная церковь, упоминаемая в документах 1628 года. В 1731 году был построен новый деревянный храм с приделами во имя апостола Иуды, брата Господня, и великомученика Георгия Победоносца. К началу XIX века деревянное здание обветшало, и на его месте было решено возвести каменный храм. Строительство осуществлялось на средства севского купца Петра Ивановича Нестерова и было завершено в 1824 году. Новый храм имел два престола: главный — в честь Воздвижения Креста Господня и придельный — во имя великомученика Георгия Победоносца. В 1860 году церковный староста Василий Петрович Нестеров, сын Петра Ивановича, построил вокруг храма каменную ограду с чугунными решётками. Архитектурно храм представляет собой кирпичное оштукатуренное здание в стиле зрелого классицизма. Он относится к бесстолпным однокупольным храмам с трёхчастной композицией: прямоугольные в плане алтарь и трапезная примыкают к кубическому центральному объёму, увенчанному широким барабаном с восьмью окнами и сферическим куполом. К трапезной примыкает стройная трёхъярусная колокольня с арочными проёмами и шпилем. Фасады украшены четырёхколонными портиками тосканского ордера с фронтонами, а также рустовкой закруглённых углов трапезной и алтаря.
В советский период Кресто-Воздвиженский храм оставался единственным действующим храмом в Севске и не подвергся разрушению. После закрытия в 1920-х годах Севского Троицкого монастыря многие монахини поселились в Севске и его окрестностях, собираясь для богослужений в этом храме. В 1951 году в переписке Брянского облисполкома отмечалось, что храм посещают 52 монахини, а приход является богатым и многолюдным. Это был единственный приход на пять районов Курской, Брянской и Орловской областей.
В 2005 году стали известны имена священнослужителей, служивших в этом храме и расстрелянных в 1937 году: протоиерея Варлаама (Попова), иеромонахов Иоасафа и Павла, священника Павла. Протоиерей Варлаам (Попов) в июле 2006 года был причислен к лику святых новомучеников и исповедников Российских.
