С учреждением в 1777 году в Ярославле наместничества была введена должность генерал-губернатора. Первоначально генерал-губернатор жил в
архиерейском доме, впоследствии для него строится дом на берегу реки Которосли. В 1786 году губернатор переселился в новый дом на Ильинской площади,
построенный вблизи Присутственных мест. Дом этот в 1796 году разобрали, и губернатор переселился в отремонтированный старый дом на берегу реки Которосли.
В 1818 году было принято решение о строительстве нового губернаторского дома на участке, который до регулярной перепланировки города принадлежал
купцу И. Затрапезнову. Здесь находились его дом и фабрика. Однако ко времени строительства это место было "пустопорожним" и принадлежало городу.
Заказчиком строительства являлся тогдашний ярославский генерал-губернатор А. М. Безобразов. Автором первого проекта дома и всей усадьбы стал
"художник архитектор 14-го класса П. Я. Паньков".
Первоначально предполагалось губернаторский дом поставить на Ильинской площади лицом к присутственным местам. Но вскоре проект был пересмотрен,
и дом начали возводить на Волжской набережной. К осени 1821 года строительство вчерне было уже завершено, а дом покрыт железом. 5 февраля сообщалось, что
"внутренняя его отделка ежедневно производится".
Чертеж фасада губернаторской усадьбы архитектор П. Я. Паньков