Здание, ныне известное как Крестовоздвиженский собор, было построено в 1930-1933 годах как лютеранская кирха Кройцкирха (нем. Kreuzkirche) для евангелической общины Кёнигсберга. Проект разработан берлинским архитектором Артуром Киктоном, известным по работам в Иерусалиме. Строительство велось на средства Альштадской церковной общины, объединения евангелических общин Кёнигсберга и прусского правительства. Освящение состоялось 7 мая 1933 года.
Архитектурное решение представляет собой синтез позднего модерна с элементами неоклассицизма и готики. Здание имеет форму греческого креста, двубашенный западный фасад с майоликовым панно в виде креста и оригинальную конструкцию фундамента на деревянных сваях из-за болотистого грунта острова Ломзе (ныне Октябрьский). Внутреннее убранство создавали берлинский художник Эрхст Фей и кёнигсбергские мастера.
В период Второй мировой войны здание получило незначительные повреждения. В послевоенные годы использовалось как автомастерская, затем как фабрика рыболовных орудий. В ходе адаптации под производственные нужды были выполнены бетонные перекрытия, что привело к деформациям конструкции.
В 1989 году здание передано Русской Православной Церкви. В 1991-1994 годах проведена реконструкция под руководством архитектора Ю.И. Забуги. Верхний храм освящен в 1994 году в честь Воздвижения Честного и Животворящего Креста Господня, нижний придел - в 1995 году во имя святого благоверного князя Александра Невского. В 2000 году установлен уникальный янтарный иконостас.
С 1994 по 2006 год собор являлся кафедральным храмом Калининградской епархии. Архитектурный комплекс включает основное здание храма и примыкающий дом причта, сохранившийся с немецкого периода. Здание признано объектом культурного наследия регионального значения.