Поселение Жёлтые Пески было основано предположительно в середине XVII века мелкими служилыми людьми. Название села связано с песчаными грунтами берегов реки Воронеж, на которых оно расположено. В 1690 году в селе был построен первый деревянный храм во имя святых Космы и Дамиана, что способствовало его преобразованию в село.
В 1851 году первоначальный деревянный храм был заменён новым. Однако в 1875 году этот храм сгорел, и многие церковные документы были утрачены. К 1878 году на его месте была возведена новая деревянная церковь.
В 1928 году Космодамианская церковь была сожжена, что привело к прекращению её деятельности.
В 1996 году на основе старого кирпичного дома была построена новая церковь святых Космы и Дамиана. В 2007 году к храму была пристроена колокольня.