В 1825 году в селе была возведена каменная церковь, заменившая ранее существовавшую деревянную, пришедшую в ветхость. Новый храм был посвящён святителям Гурию, Герману и Варсонофию Казанским. В 1845 году к основному зданию был пристроен боковой придел во имя святой великомученицы Параскевы, разделивший церковь на зимнюю и летнюю части. Летний храм имел пятиярусный иконостас с древней живописью, а зимний — двухъярусный. В 1912 году был добавлен второй боковой придел, освящённый в честь иконы Богородицы «Неупиваемая чаша».
К началу XX века приход храма включал 349 дворов с населением 992 мужчины и 1162 женщины, преимущественно православных. В селе функционировала земская школа, открытая в 1869 году на базе приходской школы, существовавшей с 1843 года. Штат церкви состоял из священника, диакона и псаломщика. Последним настоятелем перед закрытием храма в советское время был Гурий Михайлович Лебедев, назначенный на эту должность 17 ноября 1909 года. В 1930 году он был арестован и приговорён к расстрелу, приговор приведён в исполнение 5 марта 1930 года.
В 1930 году, в период антирелигиозной политики советской власти, храм был закрыт. Здание использовалось под склад для хранения шерсти, зернохранилище, винный магазин и магазин промышленных товаров. Позже на месте центрального алтаря была построена водонапорная башня.
В 1999 году здание церкви было возвращено Казанской епархии, и с этого времени началась его реставрация. Были восстановлены разрушенные купол, апсида, колокольня и левый придел. Проводятся работы по внутреннему убранству церкви и благоустройству прилегающей территории.
Село Столбище имеет интересную историю. В 1774 году при въезде в деревню был установлен позорный чёрный столб за «разбой» и участие в Пугачёвском восстании, что, вероятно, и дало название поселению.
