Деревня Тарасково известна с 1624 года, когда ее владельцами были Колтовские, дворянский род, получивший свое название от Колтовской волости. В 1758 году на средства помещицы А.А. Хрущевой была построена каменная Казанская церковь, заменившая обветшавший деревянный храм.
В 1780 году надворный советник Н.Д. Колтовский, владелец Тарасково, осуществил строительство существующего каменного храма в честь Казанской иконы Божией Матери. Архитектура храма первоначально имела крестообразную форму, но в 1884 году к нему была пристроена новая трапезная с приделом во имя Архистратига Михаила и колокольня, что изменило первоначальный план здания.
В 1892 году в храме был отреставрирован иконостас, а в 1894 году открыта церковноприходская школа.
После революции храм, как и многие другие, был закрыт. В период советской власти внутреннее убранство было разграблено, колокольня разрушена до основания, и здание находилось в заброшенном состоянии, постепенно разрушаясь.
25 октября 1991 года была образована община верующих, и началось восстановление храма. К концу 2000-х годов здание было отремонтировано, однако в упрощенном архитектурном виде, без восстановления колокольни и трапезной.