В “Обывательской книге” 1-й половины 1840-х гг. значится: «Балова купца Федора Назарова каменный, трёхэтажный дом с ренсковым погребом и
лавками с десятью затворами и надворными службами”. Предположительно в таком виде - как 3-этажный с подвалом - здание было построено изначально в
1810-е гг. и уже тогда приобрело свою конфигурацию.
Купец 2-й гильдии Почётный гражданин Фёдор Назаров Балов значился как торговец “мучным и ренсковым товаром”, владелец каменных и деревянных
домов, лавок в Старом Гостином дворе, кожевенного заведения при доме в Тверицах. Дважды (в 1821 - 1824 гг. и в 1840 - 1844 гг.) он был избран Городским
головой. В конце 1851 года Ф. Н. Балов умирает, основную часть наследства (капитал, дома, речные суда, товар, недвижимое имущество) самовольно захватывает
его сын, купец 3-й гильдии Александр Федорович. В 1852 году он предпринимает меры по восстановлению плана на землю.
Во 2-й половине 1870-х годов домовладение переходит от купцов Баловых к Почётной гражданке Екатерине Вахрамеевой, а от нее в 1-й половине
1880-х гг. - к купцам Литову и Друженковым.
Более сложный переход домовладения наблюдался на конец XIX - начало XX вв. По картотеке домовладений Городской управы на начало XX века:
По Угличской, Екатерининской (Ростовской), Всесвятской домовладение Попечительского Совета Ярославского городского Сиротского дома им. Друженкова,
основанного в 1900 году.