Первое упоминание о храме в селе Гремячье относится к 1676 году, когда в окладной книге Рязанской митрополии был зафиксирован деревянный храм с приходом в 31 двор. Церковь была посвящена Вознесению Господню, что соответствует православной традиции наименования храмов в память о евангельских событиях.
В 1821 году на средства прихожан вместо деревянной была построена каменная церковь с приделом в честь святой великомученицы Параскевы. Здание было выполнено в русско-византийском стиле с элементами крестово-купольной композиции. Длина храма с двухъярусной колокольней составляла 16 саженей 2 аршина. Церковь имела барабан с семью окнами и была покрыта железом, окрашенным зеленой масляной краской.
В начале XX века приход храма насчитывал 343 двора. При церкви действовала церковно-приходская школа, размещавшаяся в здании сторожки, и библиотека с пятьюдесятью томами книг. В 1911 году храм был застрахован, что подтверждает его материальную ценность на тот период.
После 1917 года имущество церкви было национализировано, но богослужения продолжались до 1935 года. В указанном году здание признали аварийным и разобрали. Материалы храма использовали для строительства школ. В советский период верующие тайно собирались для молитв в частных домах.
В 1998 году богослужения возобновились в переоборудованном помещении старой библиотеки, а позднее - в здании бывшего филиала сбербанка. Современный храм продолжает традиции приходской жизни, существовавшей в селе Гремячье с XVII века.