Храм Казанской иконы Божией Матери в селе Рашкино Торжокского района Тверской области был построен в 1811 году на месте более раннего каменного храма, посвященного иконе Божией Матери «Знамение». Предшествующий храм, возведенный в XVII веке, к концу XVIII столетия пришел в ветхость, о чем свидетельствует прошение прихожан от 3 января 1793 года, в котором они указывали на расселины в стенах, ветхость иконостаса и общую неблагообразность здания. Разрешение на разборку старого храма было получено от архиепископа Иринея 28 марта 1793 года.
Строительство нового храма завершилось к 1805 году. В ходе работ по прошению помещика Алексея Загряжского был разобран деревянный Владимирский храм 1761 года, а его место заняла часовня. Главный престол нового храма был освящен в честь Казанской иконы Божией Матери, а приделы — во имя Николая Чудотворца и святых бессребреников Космы и Дамиана. Окончательное освящение приделов состоялось 22 октября 1806 года.
В XIX веке храм подвергся ряду изменений: в 1838 году был обновлен иконостас, в 1839 году выполнена стенная роспись, а в 1902 году построена новая колокольня и нанесены новые масляные росписи поверх старых. Фрагменты первоначальной живописи, включая страстной цикл в алтаре, сохранились под поздними наслоениями.
После 1917 года храм был закрыт, а в 1930-х годах использовался как зернохранилище. В начале 1990-х годов здание возвращено Русской Православной Церкви в аварийном состоянии: с утраченными крестами, обрушенной кровлей, поврежденными стенами и разрушенной оградой. Реставрационные работы, включая укрепление фундамента и восстановление росписей, проводились в 2010-х годах.