Деревня Крупец впервые упоминается в документах начала XVII века как вотчина Рыльского Николаевского монастыря. О времени постройки первой церкви в Крупце сведений сохранилось недостаточно, однако известно, что к концу XVIII века существовала деревянная Покровская церковь.
В 1822 году на средства купцов Севастиана и Фёдора Андрониковых из рода Шелеховых было решено возвести новый каменный храм. Проектирование и строительство храма велись в классическом стиле. Храм представляет собой кирпичное одноглавое крестово-купольное здание с примыкающей многоярусной колокольней. Основной престол был освящён в честь Покрова Пресвятой Богородицы, а боковые приделы — во имя святой мученицы Параскевы и архангела Михаила.
В 1864 году была произведена замена железной крыши, а в 1884 году храм оштукатурили и покрасили. В 1895 году в церкви было установлено калориферное отопление. В 1905 году фасады и интерьеры храма были обновлены, получив декор в стиле псевдобарокко. В том же году к южному фасаду колокольни была пристроена паперть.
По состоянию на 1915 год, храм владел земельными участками, из которых пахотными были только 7 десятин, а остальная площадь требовала рекультивации. Доход от сдачи земель в аренду составлял 3360 рублей. При храме действовали две церковно-приходские школы: в городе Рыльске и в деревнях Волынка и Покровская. В этих школах обучалось 167 мальчиков и 32 девочки. В библиотеке храма хранилось 55 книг. Причт храма состоял из двух священников и псаломщика.
После Октябрьской революции 1917 года и принятия декрета об отделении церкви от государства, храм продолжал функционировать на основании договора с местными властями. В 1922 году из храма было изъято 39 предметов церковной утвари общим весом 4 пуда. В 1930-е годы здание использовалось как зернохранилище, что привело к повреждению интерьера и утрате части росписей.
В годы Великой Отечественной войны, после освобождения Рыльска в 1943 году, службы в храме были возобновлены. В 1945 году было заключено соглашение о передаче здания церкви в бессрочное пользование. В 1946 году на средства общины была построена сторожка, а в 1954 году произведён ремонт храма, включавший побелку и покраску. Однако эти работы были признаны недостаточными. В 1956 году началась работа по изготовлению нового иконостаса для правого придела. В 1960-е годы колокольный звон был запрещён, а посещение храма учащимися школами сопровождалось контролем со стороны учителей и комсомольцев.
В 1970-е годы были проведены значительные ремонтно-строительные работы: заменены перекрытия купола, обновлён фасад, построены трапезная, канцелярия, крестильный домик и свечная лавка. Внутри храма обновили роспись стен и купола, а также установили новый иконостас, уступающий по качеству предыдущему.
25 октября 1990 года, в соответствии с Законом РСФСР «О свободе вероисповеданий», была зарегистрирована религиозная организация Православный приход Покровского храма. В сентябре 1991 года храм посетил Патриарх Московский и всея Руси Алексий II, который совершил молитву в храме и выступил перед прихожанами.
В 1990-е и 2000-е годы были проведены работы по обновлению храма: заменены луковки и кресты, отремонтирована крыша, выложены новые полы, установлена металлическая ограда. Также капитально отремонтировано двухэтажное здание у колокольни, где до революции размещалась церковно-приходская школа, а после — общежитие педагогического училища. В отремонтированном здании проводятся занятия воскресной школы и кадетского казачьего корпуса.