Дом № 4 на Почтовой улице построен в 1904 году по проекту академика архитектуры Никифорова. Это здание принадлежало духовному ведомству.
Здесь, в том числе, размещались квартиры для церковных служащих.
В конце 1930-х годов был возведён третий этаж, частично изменена планировка дома. Утрачены ворота с западной стороны.
С конца XVIII века одновременно употреблялись два наименования названия улицы: Спасо-Нагородная (или просто Спасская улица) по расположенной рядом церкви Спаса на Городу и Почтовая по существовавшему на
ней с XVIII века зданию почтового ведомства. Со второй половине XIX века до начала XX века употреблялось также обиходное название «овраг Медведицы» (с вариантом Медвежий овраг).
С августа 1924 года улица официально стала называться Почтовой.