Вместе с открытием женского училища духовного ведомства, 22 июля 1862 года, был освящён домовой храм во имя Сошествия Святого Духа.
Колокола храма размещались на специально устроенной колокольне в куполе над храмом, который сохранился до сегодняшнего дня, правда, в несколько измененном виде.