Деревня Грайвороны известна с конца XVII века. В 1678 году на левом берегу реки Ворсклы была основана митрополичья слобода Грайвороны, где проживали переселенцы из различных регионов России, а также украинские беженцы и черкасы. Поселение было укреплено деревянными стенами с башнями, окруженными валами и рвами, превращая его в крепость.
В первой половине XVIII века в Грайворонах существовала деревянная церковь во имя святого великомученика Георгия. В 1779 году на пожертвования прихожан была построена новая деревянная церковь, также освященная в честь великомученика Георгия Победоносца.
В 1818 году помещица Екатерина Ивановна Норова завещала средства на строительство каменной церкви во имя Казанской Божией Матери с колокольней, не уступающей по размерам существующей деревянной церкви. В феврале 1850 года было получено разрешение на строительство, и 5 декабря того же года была выдана храмозданная грамота. Строительство завершилось в 1854 году, после чего деревянная церковь была разобрана, а иконостас и иконы перенесены в новый каменный храм. Церковь имела три придела: главный — в честь Казанской иконы Божией Матери, а также приделы во имя святого великомученика Георгия Победоносца и святителя Николая Чудотворца.
После Октябрьской революции церковь продолжала функционировать до марта 1934 года, когда, согласно решению Мособлисполкома, здание было переоборудовано и передано под нужды клуба. К 1975 году здание находилось в аварийном состоянии: отсутствовала кровля над трапезной, конструкции потолков были повреждены, а ограда вокруг храма была похищена.
В 1994 году церковь была возвращена православной общине, и начались работы по восстановлению храма. С 2001 года в главном приделе проводятся регулярные службы. В 2014 году рядом с церковью был благоустроен святой источник во имя Казанской иконы Божией Матери, оборудован купелью. Церковь признана памятником архитектуры регионального значения на основании постановления Правительства Московской области № 84/9 от 15 марта 2002 года.
