В начале XIX века граф Иван Петрович Салтыков продаёт собственный дом на Постоялой (Комсомольской) улице своему крепостному крестьянину Семёну Соболеву.
Дед Семёна Соболева во время Семилетней войны не только прослыл отважным солдатом, но и расторопным предпринимателем. Ему удалось наладить поставку иностранных вин в Россию. А его потомки, скопив денег, выкупились на
свободу. В 1806 году Семён Соболев перевёз семью в город и записался в Ярославское купечество. Став хозяевами графского особняка купцы перестроили его на свой лад. Для этого они пригласили самого модного в те времена архитектора
Ярославля Петра Яковлевича Панькова.
Винная торговля приносила семейству Соболевых немалые доходы. Развитию бизнеса способствовал и сам особняк с его идеальным расположением: рядом рынок, постоялые дворы, да, и товар ходовой. На 1810 год дом описывался
следующим образом: «Дом каменный: вверху жилые покои и трактир, внизу питейный дом, два подвала, штофная лавочка и восемь лавок мушных, две харчевни, стоялый дом». Оценен дом был в 32 000 рублей.
В 1850 году оборот «ренского» погреба Соболевых доходил до 150 тысяч рублей.
В конце XIX века семья Соболевых переехала в другой особняк. А их бывший дом поменял хозяев и был искажен перестройками.
В годы советской власти в здании размещались коммунальный банк и складские помещения.
Портрет И. С. Соболева. Худ. Н. Д. Мыльников. 1830