История храма начинается с 1676 года, когда в Рыбном была построена деревянная церковь во имя святителя Николая Чудотворца. В 1869 году этот храм сгорел, но уже в 1870 году на каменном фундаменте была возведена новая деревянная церковь с приделами: главным — во имя святителя Николая Чудотворца и дополнительным — во имя Успения Пресвятой Богородицы. Освящение придела во имя Успения состоялось в 1870 году, а главного престола — в 1874 году.
После революции 1917 года храм был закрыт, а здание разрушено. На его месте были построены жилые дома, и более 60 лет в городе не было православного храма.
В 1995 году был зарегистрирован приход церкви Николая Чудотворца. 4 сентября 1999 года был заложен фундамент для строительства нового храма на Базарной площади. Строительство велось силами прихожан, и 19 декабря 2005 года архиепископ Рязанский и Касимовский Павел освятил вновь построенный каменный храм.
Архитектурно, современный храм представляет собой каменное здание с престолом во имя святителя Николая Чудотворца. Он расположен на пересечении Базарной и Полевой улиц, что делает его заметным ориентиром в городе.