Основание монастыря связано с событиями Смутного времени. Первые упоминания о храме на этом месте относятся к 1570 году, когда в документах фигурирует игумен Вассиан. В 1602 году зафиксирована купчая на земельный участок возле храма святых Афанасия и Кирилла. В 1612 году в часовне у деревянной церкви была обретена чудотворная икона Спаса Нерукотворного, почитание которой связано с прекращением моровой язвы в Ярославле во время пребывания здесь народного ополчения Минина и Пожарского.
Официальное учреждение монастыря произошло около 1615 года по инициативе земского старосты Гавриила Мякушкина и с благословения митрополита Ростовского Кирилла. Название обители дано в честь святителей Афанасия и Кирилла Александрийских, известных как защитников православия от ересей. В 1619 году царь Михаил Фёдорович пожаловал монастырю земельные владения и налоговые льготы.
Первые каменные постройки появились в 1664 году - храм во имя Афанасия и Кирилла, возведённый по благословению митрополита Ионы Сысоевича. В 1676 году к нему пристроили тёплую церковь с колокольней, освящённую во имя святителя Алексия Московского. В 1691-1702 годах построены келейный корпус и каменные стены. Монастырь неоднократно страдал от пожаров - в 1658, 1670 и 1768 годах.
В XVIII веке обитель получила статус заштатной, в 1857 году возведена в степень третьеклассной. Число насельников никогда не превышало 10 человек. С 1895 года монастырь стал резиденцией викарных епископов Ярославской епархии. В 1918 году пострадал от артиллерийского обстрела, в 1925 году закрыт советской властью. Помещения использовались под административные нужды мебельной фабрики.
Возрождение монастыря началось в 2005 году с передачи храмов Русской Православной Церкви. В 2006 году к обители приписана Ярославская духовная семинария. В 2009 году монастырь официально восстановлен как действующий. В 2010-х годах проведены масштабные реставрационные работы, восстановлена колокольня. В 2020 году Священный Синод утвердил современное название - Спасо-Афанасиевский монастырь.