Первоначально храм был построен в 1845 году как походная церковь при лазарете флотского экипажа Каспийской флотилии, расквартированного в Баку на форштадте. Согласно генеральному плану Бакинской крепости от 1854 года, церковь была посвящена Успению Пресвятой Богородицы. Здание церкви было вписано в структуру двухэтажного караван-сарая, который занимал флотский экипаж, и именовалось «Флотской». Архитектурно храм выдержан в псковском стиле, а молитвенная комната напоминает корабельную палубу.
В 1873 году, по приказу императора Александра II, флотская церковь была передана военному ведомству для нужд Сальянского резервного полка, прибывшего из Ленкорани в 1868 году. В 1875 году управление церковью было передано в ведение Каспийской епархии. С ноября 1891 по ноябрь 1892 года в здании проводились ремонтные работы стоимостью 22 000 рублей, в ходе которых были установлены новые царские врата и обновлена внутренняя отделка. 1 ноября 1892 года обновлённый храм был освящён в честь Архангела Михаила.
В 1936 году храм был закрыт, и в его здании разместилось общежитие. После окончания Второй мировой войны, в 1946 году, советское правительство возвратило здание Русской Православной Церкви, и храм вновь открылся для богослужений. В 1966 году в храме произошёл пожар, после которого, при содействии Московской Патриархии, были проведены восстановительные работы, включая установку иконостаса, переданного из одного из закрытых московских храмов.
В период после обретения Азербайджаном независимости в 1991 году храм продолжал действовать, несмотря на экономические трудности. В 2000 году началось строительство нижнего придела в честь апостола Варфоломея, завершённое в 2006 году. В 2013 году началась реконструкция четырёхэтажного здания храма, в ходе которой были заменены кровля, установлены новые окна и декоративные решётки, а также проведены работы по благоустройству территории.
В 2020–2021 годах, по поручению президента Азербайджана Ильхама Алиева, был проведён капитальный ремонт храма, включающий реставрацию фасада, установку позолоченного купола, строительство колокольни и обновление внутреннего убранства. Работы были выполнены компанией ArchiSO при участии иконописцев Московской государственной академии художеств и дизайна. В апреле 2022 года храм возобновил свою деятельность.
