Дом был построен между 1780 и 1795 годом представителем древнего дворянского рода Сергеем Власьевым. Однако, уже
в начале XIX века, дом был продан богатому купеческому роду Матвеевских за крупную по тем временам сумму в 16 000 рублей.
В 1834 году усадьба была продана за долги дворянину Николаю Александровичу Горяинову. Новый владелец в 1837
году устроил в главном здании усадьбы выставку изделий Ярославской губернии – одну из первых в Российской империи.
Согласно описи 1847 года в доме была 41 комната, а под домом – сводчатый подвал. Жилые комнаты обогревались
изразцовыми печами, одна из которых сохранилась до наших дней. В двух комнатах второго этажа находились камины (один из них
также сохранился до нашего времени). Со стороны парадного фасада располагался балкон с железной решёткой. Со стороны
Воскресенской улицы находились ворота на каменных столбах. Внутреннее убранство особняка представляло собой анфиладу
комнат, проходившую через весь второй этаж. Интерьер включал в себя расписные потолки, изразцовые печи, редкие в
провинциальных домах паркетные полы и камины в двух парадных комнатах.
В 1870 году усадьбу купил знаменитый ярославский купец Иван Александрович Вахромеев (1843 – 1908 гг.), известный
всей России как меценат и благотворитель. Во время его пребывания на должности городского головы, в Ярославле был сооружён
водопровод, построена электростанция, запущена трамвайная линия. Благодаря деятельности И. А. Вахромеева дом в народе получил
имя Вахромеевского, которое сохраняется до наших дней.
С 1905 года свою фамилию Иван Александрович записывал через «о» — Вахромеев (до того Вахрамеев), также изменил название фирмы на «Торговый дом хлебных товаров И. А. Вахромеев с сыновьями».
Причиной называют семейное предание о предполагаемом родоначальнике семьи по имени Варфоломей (в народном произношении Вахромей), отчего Иван Александрович решил, что фамилию правильнее записывать через «о».