Первоначально на этом месте находился деревянный храм, упоминаемый в Писцовой книге Торжка 1625 года как "Храм Здвижение честнаго креста древян клецки, да в приделе святого великомученика и страстотерпца Никиты". К середине XVIII века деревянная церковь обветшала, и было принято решение о строительстве нового каменного храма.
Строительство каменной церкви началось в 1742 году и завершилось в 1750 году. Средства на строительство были собраны прихожанами, в том числе купцом Морозовым. Главный престол был освящён в честь Воздвижения Животворящего Креста Господня, а тёплый придел — в честь святых равноапостольных царей Константина и Елены.
Архитектурный облик храма представляет собой двухсветный четверик, несущий массивный световой восьмерик, завершённый шлемовидным куполом и декоративной главкой на гранёной шее. К основному объёму примыкают пятигранная алтарная апсида, трапезная и четырёхъярусная колокольня с высоким шпилем. В 1842 году храм был обновлён, прилегающая к нему территория обнесена высокой каменной оградой со Святыми воротами и металлическими коваными решётками.
Согласно преданию, подвижник и чудотворец XVI века Трифон Печенгский был сыном священника Крестовоздвиженской церкви. Память о нём свято чтилась в этом храме.
