В 1681 году в Рубленом городе Ярославля Ростовским митрополитом Ионой Сысоевичем "куплено место архиерейского дворе у попа Данилы", так как "ростовские епископы должны были ездить сюда часто". Двор располагался рядом с
кафедральным Успенским собором, усадьбой воеводы и подворьем Толгского монастыря. Размер участка значительно превосходил соседний воеводский двор.
В 80-ых 9О-ых годах XVII века зодчими ростовского владыки "построены во дворе архиерейском церковь каменная во имя Святого Леонтия Ростовского, отменным письмом подписана, палаты каменные изрядныя, с верхними и нижними
жильями". Большой каменный жилой дом архиереев, обращенный к Волге торцом и с южным лицевым фасадом, в дальнейшем получил устойчивые названия по имени митрополита Ионы Сысоевича "Ионинский дом", "архиерейский дом".
Здание имело два крыльца: северное, выходившее на хозяйственный двор, и парадное южное, во втором ярусе которого была расположена неширокая галерея, декорированная аркатурно-колончатым поясом и изразцами. Интерьер дома был разделён
сенями на восточную половину, на втором этаже которой находились личные покои митрополита, и западную с помещениями для приёмов на втором этаже, в том числе с одностолпной палатой-трапезной; помещения на первом этаже с кирпичными
полам были использованы для хозяйственных нужд; оба этажа имели сводчатое перекрытие, стены оштукатурены, а на втором этаже они были расписаны; здание имело внутристенные лестницы, коридоры и каналы для горячего воздуха,
обогревавшего верхние помещения. Кроме каменных жилых палат и домовой Леонтьевской церкви на архиерейском дворе имелись деревянные кельи для митрополичьего штата, хозяйственные постройки, со стороны Волги был разбит сад,
вокруг усадьбы поставлена каменная ограда.
В период с 1702 по 1709 годы в доме несколько раз проживал митрополит Дмитрий Ростовский, при котором здесь устраивались пьесы "школьного театра". Летом 1750 года Фёдор Волков с товарищами показал здесь
ярославцам несколько спектаклей.
В переписной книге "Городовой сотни" /Рубленого города/ за 1709 год отмечено, что "дом митрополита стоял на Мостовой улице, которая с Волжского берега шла к Толгскому подворью. Здесь же находились дома лиц, принадлежащих
к управлению владыки и служащих при соборной Успенской церкви". От Волжского берега митрополичью усадьбу отделяли небольшие дворы двух посадских, "солдата, да пустая изба рукавишника, а затем дворы митрополичьего подьячего Попова,
соборного попа Василия Михайлова". В документе зафиксировано также, что в усадьбе "преосвященного Дмитрия Митрополита Ростовского и Ярославского живет иеромонах Иона, а мирских людей нет".
На гравюре А. Ростовцева "Ярославль" 1731 года вблизи Успенского собора изображён "архиерейский дом". Большое, прямоугольное в плане здание, вытянуто по оси восток-запад, перекрытое четырёхскатной кровлей и с крупным,
вытянутым в направлении север-юг крытым крыльцом у южного фасада, окружено оградой, за которой показан сад. Довольно высокая, с проёмами в верхней части и с двускатной кровлей ограда пристроена к одноглавой церкви святого Леонтия,
расположенной напротив южного фасада "архиерейского дома"; на территории усадьбы рядом с оградой находятся два небольших одноэтажных дома.
В мае 1763 года и в мае 1767 года во время посещений Екатериной II Ярославля архиерейский дом являлся её резиденцией. Во время последнего визита императрица принимала в нём ярославское дворянство и зажиточное купечество.
За время пребывания в Ярославле государыня услышала много интересных историй из ярославской жизни. Результатом этого явились пять комедий, которые, как утверждала сама императрица, были написаны ею на нашем волжском берегу.
В 1768 году здание пострадало во время пожара. На ремонт его Екатерина II пожертвовала 500 руб. Вероятно, именно тогда, к зданию пристроили двухэтажный деревянный корпус, о котором впервые упоминается в 1781 году.