В 1848 году, по инициативе капитана Севастопольского порта контр-адмирала Г. И. Рогули, было принято решение о строительстве церкви на месте одной из часовен Севастопольского Адмиралтейского собора. Предположительно, автором проекта являлся инженер-полковник Фандервейде. Строительство храма было завершено в 1849 году, а освящение состоялось в июне 1850 года соборным причтом во главе с настоятелем Севастопольского Адмиралтейского собора протоиереем Иоанном Терлецким.
Во время Крымской войны (1853–1856 гг.) храм стал главным гарнизонным храмом Севастополя. В его стенах были отпеты адмиралы В. А. Корнилов, В. И. Истомин и П. С. Нахимов. 5 октября 1854 года в храме состоялось отпевание адмирала Корнилова, 7 марта 1855 года — адмирала Истомина, 1 июля того же года — адмирала Нахимова. 1 марта 1855 года, после кончины императора Николая I, в храме и на прилегающей площади севастопольский гарнизон был приведен к присяге на верность императору Александру II.
2 августа 1855 года в здание храма попал снаряд, причинивший значительные повреждения. В результате обстрела были разрушены иконостас, опрокинут престол, рассыпались святые дары; два человека получили ранения. Остатки церковного имущества были эвакуированы в казематы Николаевской батареи.
В 1857 году, на средства почетного гражданина Ивана Красильникова, начались работы по восстановлению храма. Реставрация продолжалась до 10 октября 1870 года, когда церковь была вновь освящена. В 1889 году храм стал полковой церковью 50-го пехотного Белостокского полка. К 50-летию первой обороны Севастополя, на западном фасаде церкви были установлены 24 мраморные доски с наименованиями частей войск Севастопольского гарнизона, принимавших участие в обороне города.
После 1920 года богослужения в храме были прекращены. Здание использовалось для различных нужд: в нем размещались читальня имени французского коммуниста А. Марти, с 1931 года — Дом санитарного просвещения, а с 1968 года — зал музея Черноморского флота, посвященный послевоенному периоду флота.
В 1996 году, по благословению архиепископа Симферопольского и Крымского Лазаря, в Севастополе была зарегистрирована Русская Военно-морская Православная община святого Архистратига Михаила, в состав которой вошли действующие и отставные офицеры Черноморского флота. Главной целью общины стало возобновление богослужений в Михайловской церкви для военнослужащих и членов их семей. В апреле 2000 года архиепископ Лазарь назначил настоятеля храма. 21 ноября 2002 года, впервые после 80-летнего перерыва, в Михайловском храме была отслужена Божественная литургия. С этого времени богослужения стали проводиться регулярно.
В июле 2010 года, после назначения нового командующего Черноморским флотом, богослужения в Михайловском храме стали совершаться ежемесячно для военнослужащих и членов их семей. В августе 2011 года было принято решение о переносе экспозиции 8-го зала музея из здания храма в новое помещение с целью восстановления исторического облика воинского храма.
