В I777 году архиепископ Ростовский и Ярославский Самуил Миславский передал архиерейский дом администрации Ярославского наместничества. В этот же год в нём поселился первый Ярославский и Вологодский генерал-губернатор Алексей
Петрович Мельгунов, по инициативе которого разработан регулярны план города. В описании к перестройке города по новому плану было предусмотрено построить новый архиерейский дом, домовую "старую церковь святого Леонтия Чудотворца
назначить в перестройку и над оной будет колокольня для соборной церкви".
В 1780 году в бывшем архиерейском доме начался капитальный ремонт. Губернатору И. А. Заборовскому Императорская канцелярия отпустила "на поправку" дома 1 534 руб. 70 коп.
В "Ведомости, учинённой состоящим в городе Ярославле казённым строениям" 1781 года, сказано, что "в Рубленом городе близ собору дом каменный, где прежде жительство имели архиереи, величины пять сажен, длины осьмнадцать
сажен и ширины тринадцать сажен, при нём конюшни и людские деревянные ветхие по Волгскому берегу; а во всем дворе и со строением в длину шестьдесят пять сажен с половиною, в ширину тридцать восемь сажен. И оный двор обнесён от Волги
каменной стеной с двумя воротами. Ныне квартирует в доме господин правитель наместничества бригадир Голохвастов".
В документах губернской канцелярии 1783 года отмечено, что "над старым архиерейским домом новая кровля сделана и железом покрыта". В следующем 1784 году капитальный ремонт дома был завершён; известно, что в пяти нижних
помещениях на кирпичные полы были настланы деревянные и поставлены новые изразцовые печи.
В начале 1918 года здание было передано в ведение городского коммунального хозяйства. Во время подавления белогвардейского восстания летом 1918 года дом сильно пострадал от артиллерийского обстрела. В 1919 году в пустующем,
без перекрытия здании произошёл пожар, после чего были разобраны стены третьего, верхнего этажа.