Когда-то на этом месте располагалась Семёновская башня, демонтированная в 1823 году. Краевед Вадим Лествицын сообщал о прокладке водосточной трубы на Пробойной улице, современной Советской, пролегавшей от Фроловского
моста до Семёновских ворот. Трубу следовало поместить в прорытой канаве, проходящей от Варваринской церкви до Семёновского спуска. В ходе работ обнаружили следующую картину:
"До промежутка между бульварами Казанским и Семёновским здесь ничего особенного не представилось, только на небольшом расстоянии от поверхности рабочие должны были перепиливать старые мостовины, то есть мелкий лес,
положенный поперёк улицы. В перемычке же встретили кладку из камня разных размеров и также кирпича с железными связями. Развалина эта та именно Семёновская башня старинного Земляного города. Башня эта была небольшая и стояла над
воротами, ведущими от церкви Симеона Столпника к Успенскому собору. Над воротами той стороны башни, которая обращена была к собору, находилась Толгская икона Божией Матери, в настоящее время находящаяся в Николо-Надеинской часовне.
На волжской стороне башни, к Пробойной улице, стояла нынешняя Семёновская часовня. За нею следовал мясной ряд, пять лавок, и при них икона Благовещения, теперь находящаяся в часовне на Толкучем рынке. Вот между этими каменными
лавками и башней и пришлась наша водосточная канава. За мясным рядом имелся ещё кабак, а на другой, казанской стороне башни, находились трактир и тоже лавки.
Хотя по сторонам башни и не было стен, а имелся только высокий вал со рвом" (В. Лествицын, "Ярославские губернские ведомости", 1864 год).