Храм Калужской иконы Божией Матери в Калуге был основан в 1875 году при архиерейском доме, приобретенном епархией в 1870 году. Здание архиерейского дома, в котором разместился храм, было построено в середине XVIII века семьей Торубаевых. Иконостас храма выполнен калужским иконописцем Н. Л. Пановым.
В 1918 году на первом этаже архиерейского дома разместился Епархиальный совет, заменивший упраздненную духовную консисторию. В 1922 году епископ Феофан (Туляков) был переселен во флигель, ранее занимаемый певческой школой, а здание архиерейского дома передано под детский дом № 4. В том же году храм был закрыт по решению Калужского губисполкома.
С 1925 по 1955 год в здании архиерейского дома располагалась глазная лечебница. После Великой Отечественной войны здесь разместилось Калужское областное медицинское училище. 1 сентября 1944 года в здании бывшей школы певчих и храма открылось Калужское музыкальное училище, которое занимает помещение по настоящее время.
Калужская икона Божией Матери, в честь которой освящен храм, была обретена в 1748 году в селе Тиньково близ Калуги. Икона прославилась чудесами, включая избавление Калуги от чумы в 1771 году и заступничество во время Отечественной войны 1812 года. Празднования в честь иконы совершаются четыре раза в год: 2/15 сентября, 12/25 октября, 18/31 июля и в первое воскресенье Петрова поста.