В XVII веке за земляным валом у Знаменской башни находилась небольшая рыночная площадь. После того как ров был засыпан, а вал срыт, площадь стала представлять собой большое, архитектурно не оформленное пространство.
В 1818 году к городским властям обратился талантливый ярославский архитектор П. Я. Паньков с ходатайством о постройке здания театра. Власти поддержали Панькова, отвели место под строительство. Новый театр был открыт в 1819 году.
Он полностью принадлежал Панькову. Здание было деревянным, на каменном фундаменте.
Владелицей здания театра была записана супруга Петра Яковлевича — Елизавета Андриановна. Она же занималась и делами труппы. С 1824 Паньков стал сдавать театр в аренду. Первым арендатором стал В. С. Тихменев.
С 1826 здание арендовал богатый помещик Любимского уезда В. Обресков, у которого были собственные крепостные актёры. Потом один год играла труппа Д. М. Урусова. Его сменил в качестве антрепренёра «уволенный с полным пенсионом от
дирекции Императорского Московского театра» актёр Лисицын.
В 1820-е годы Паньков здание серьёзно перестроил, по найденным в архиве документам значится, что к концу 1820-х оно уже было каменным.