Первое упоминание о храме в честь Казанской иконы Божией Матери в Рыбной Слободе относится к 1783 году, когда была возведена каменная трёхпрестольная церковь. Престолы освящены в честь Казанской иконы Божией Матери, святых Равноапостольных Петра и Павла и Димитрия Митрополита Ростовского. Храм построен на месте более ранней деревянной часовни во имя Святителя Николая в Горице, где совершались богослужения и крестные ходы.
Архитектура храма представляла собой двуглавый каменный собор с 12-колокольной звонницей, где наибольший колокол весил 280 пудов. Стены и своды были расписаны сюжетами из житий святых, а внутреннее убранство включало позолоченные киоты и многоярусный иконостас. При храме действовало духовное правление, а клир включал священников, диаконов и псаломщиков.
В 1838 году при храме открылась церковно-приходская школа. В конце XIX — начале XX веков настоятелем служил священник И.М. Орлов, чьи сыновья также стали клириками в окрестных селах. В 1972 году при обрушении берега Камы была обнаружена сохранившаяся захороненная усыпальница священнослужителей.
Храм был разрушен в 1974 году. В 2001 году на его месте начато строительство нового однопрестольного храма-часовни в честь Казанской иконы Божией Матери. Строительство велось на средства благотворителей и завершилось в 2006 году освящением архиепископом Казанским и Татарстанским Анастасием. В храме пребывает почитаемый список Казанской иконы Божией Матери.
