Здание храма Святого Духа в городе Нестеров было построено в 1927–1928 годах как католическая капелла Сердца Иисуса (Herz-Jesu-Kapelle). Освящение капеллы состоялось 15 сентября 1929 года. Архитектурно сооружение представляло собой однонефную базилику с небольшой башней. Богослужения для немногочисленной католической общины проводились здесь до 1944 года.
В ходе боевых действий Второй мировой войны здание не пострадало. После включения территории в состав СССР в 1945 году капелла была национализирована. В послевоенный период советские власти использовали здание в качестве кинотеатра, а позднее — Дома пионеров. Алтарная часть была переоборудована под сцену.
10 июля 1991 года в Нестерове был зарегистрирован православный приход. 21 января 1992 года местные власти передали здание бывшего Дома пионеров Русской Православной Церкви. Первые богослужения совершались в неотремонтированном помещении. Капитальный ремонт проводился в 1992–1996 годах.
22 июня 1996 года храм был освящен в честь Святого Духа. В том же году завершилось создание иконостаса, который освятили 25 сентября 1999 года. В 2000-х годах проводились работы по замене кровли, ремонту фасада и внутренних помещений. 23 марта 2007 года здание получило статус объекта культурного наследия регионального значения Калининградской области.
