Трёхэтажное здание на углу улицы Советской и Первомайского бульвара было построено в конце XVIII века помещиком Шубиным.
Вплоть до конца XIX столетия жилище было частное, поэтому дом был устроен по традиционному принципу: несколько спален,
гостиная, столовая, буфетная, малая гостиная, бальная зала. Все эти покои соединялись «паутиной» переходов, лестниц и катакомб.
Позже судьба этого дома была прочно связана с армией. В 1812 году, когда ярославцы приняли решение выступить на борьбу
с Наполеоном, в особняке размещался штаб ополчения — «ярославской военной силы». Общее руководство формированием народных ополчений
в трёх губерниях — Ярославской, Тверской и Новгородской — было возложено на генерал-губернатора принца Георга Ольденбургского.
Который был женат на сестре царя Екатерине. И 26 июля 1812 года Георг Ольденбургский вместе со своей супругой, Великой княгиней
Екатериной Павловной, прибыл в Ярославль и поселился в трёхэтажном особняке, который стал называться Малым Дворцом. Здесь же, 14
сентября 1812 года, в семье принца Ольденбургского родился сын Пётр, в будущем — генерал, сенатор, член Государственного Совета.
При Малом Дворце разместилась канцелярия генерал-губернатора и комитет Ярославской военной силы. В нём разрабатывались
планы военных операций, издавались рукописные афиши, из которых горожане узнавали о положении на фронте.