Она возведена на месте захоронения Ксении Петербургской, известной подвижницы XVIII века.
Ксения Григорьевна, вдова придворного певчего Андрея Фёдоровича Петрова, после его кончины приняла на себя подвиг юродства. Предположительно, она скончалась в возрасте около 70 лет и была погребена на Смоленском кладбище в начале XIX века. Согласно преданию, во время строительства церкви Смоленской иконы Божией Матери, начатого в 1794 году, Ксения тайно по ночам переносила кирпичи к месту строительства.
Место её захоронения вскоре стало объектом паломничества. Изначально над могилой была установлена небольшая деревянная часовня. В 1902 году, по проекту архитектора Александра Александровича Всеславина, на месте старой часовни была возведена новая каменная часовня. Строительство осуществлялось на пожертвования верующих. Часовня выполнена в стиле эклектики с элементами русского зодчества, представляет собой небольшое прямоугольное в плане сооружение с шатровой крышей и декоративными элементами фасада. Внутри часовни находится мраморная гробница, под которой покоятся останки блаженной Ксении.
В советский период часовня дважды закрывалась: впервые в 1940 году, однако не была снесена, и паломничество к ней продолжалось. После Великой Отечественной войны часовня была вновь открыта, но в 1960 году её снова закрыли. В 1983 году часовня была возвращена Русской Православной Церкви, а 10 августа 1987 года митрополитом Ленинградским и Новгородским Алексием (Ридигером) вновь освящена.