Усадьба хозяина и основателя ЯБМ Ивана Максимовича Знтрапезнова построена в южной части регулярного парка на территории полотняного двора в 1720-х годах — в самой ранней из дошедших до нас исповедной росписи
прихожан Петропавловской церкви за 1738 год, первой идёт живущая в «манифактурном доме» семья «господина директора Ивана Максимовича Затрапезнова» — он сам, его супруга Анна Фёдоровна, дочери Сарра и Ева и сын Алексей.
Кроме семьи директора в усадьбе проживал его брат Гавриил (управляющий мануфактурой) с супругой и «разные в манифактурах и мастерств художники, то есть мастеры, ученики и работники с женами и с детми и с
родственники».
25 мая 1763 года во время путешествия по Волге Екатерина II после осмотр фабрики останавливалась в доме А. И. Затрапезнова, сына основателя ЯБМ.
В 1764 году сын Ивана Максимовича Алексей продал мануфактуру и "дом и все, что в нем было: серебро, вещи, даже платье" богатейшему петербургскому фабриканту Савве Яковлевичу Яковлеву. Новый владелец жил при
мануфактуре "по приезде, временно". При доме продолжал сохраняться сад, правда, не слишком роскошный: по сведениям на конец 1770-х гг. в нём росли «яблони, березы и ельник».
В мае 1767 года Яковлев принимал здесь императрицу Екатерину II во время её второго визита в Ярославль. Обстоятельства этого события очень живо передает камер-фурьерский журнал за 10 мая: «…Ее Величество […], сев в шлюпку,
шествовала рекою Которослью в дом к содержателю ж фабрики Савве Яковлеву. По прибытии на другую сторону реки Которосли к новопостроенной при оной фабрике пристани, встретил Ее Величество помянутый Яковлев, при поднесении им хлеба и
соли с серебряною солоницею, и из поставленных на берегу небольших пушек производима была пушечная пальба. С пристани изволила следовать пешком в вышеупомянутый дом, который в расстоянии от берега в версте, и мимо следующей при
фабрике церкви встретил священник, в облачении, с животворящим крестом, при колокольном звоне. По прибытии к дому, у крыльца встретила Ее Величество фамилия Яковлева, коих пожаловала к руке и проходила в покои, в которых был убран
стол десертом, и Ее Величество изволила кушать кофею и находящиеся в свите персоны подчиваны фруктами и разными винами. Хозяин зачинал пить здоровье Ее Императорского Величества, при чем из поставленных пред домом его небольших пушек
производилась пальба […] И Ее Императорское Величество, осмотрев всего, обратно изволила следовать к той же пристани, при пушечной пальбе, и мимо следующего пруда, в котором нарочно в то время ловлена была рыба».
4 июня 1798 года "Великий государь Павел I Петрович, Император и Самодержавец Всероссийский, с наследником Государем и Великим князем Александром Павловичем и Великим князем Константином Павловичем, и при них некоторых
своего двора министрах", осмотрев фабрику Яковлева, посетил его дом и "изволил милостиво наградить с бриллиантами табакеркою".
По воспоминаниям внучатой племянницы И. М. Затрапезнова Евы Смирновой-Вяземской в конце XVIII века усадьба находилась "в упадке".
Савва Яковлевич Яковлев (1712-1784 гг.)