Этот дом № 6 на Соборной площади построен в 1870-х годах купцом первой гильдии Литовым, стоял он перед Ильинско-Тихоновской церковью. В начале XX века вдова Литова продала особняк Павлу Говорову за 4 тысячи рублей.
Павел Анофриевич - это родной племянник ярославского купца Василия Яковлевича Кузнецова, строителя знаменитого дома Кузнецовых (улица Нахимсона, 18). Павел Анофриевич Говоров и его двоюродный брат Василий Платонович Кузнецов основали
вместе паровую кондитерскую фабрику «Г. Бельфор», чьи конфеты были известны на всю Россию.
Говоров провёл капитальный ремонт и сильно перестроил дом. Именно тогда особняк приобрёл декоративный вид - со стрельчатыми окнами и печными трубами, похожими на минареты, красивыми воротами.
Павел Говоров поделил дом на три квартиры. В кв. 1 - из 6 комнат и кухни - жила семья Харламовых. В кв. 2 - семь комнат, кухня, 3 печи - жили собственно Говоровы (он, жена, 4 детей, две служанки и мальчик-приказчик из
хозяйской лавки), в кв. 3 - из 4 комнат с кухней - жила семья чиновницы почтового ведомства Дубковой.
События Ярославского мятежа 1918 года сильно ударили по особняку, но Говоровы продолжали жить в полуразрушенном доме. В марте 1922 года от эпидемии сыпного тифа, бушевавшей тогда в Ярославле, скончались Павел Говоров
и одна из его дочерей. А в 1925—1926 годах решили, что здание проще снести, чем ремонтировать.