Знаменскую башню вполне можно назвать одним из древнейших памятников Ярославля. Возведённая в эпоху Средневековья, она являлась частью мощных городских укреплений, проходивших по линии нынешней улицы Первомайской.
Ещё в XIII веке здесь был насыпан земляной вал, а к XVII столетию на нём появились деревянные стены с башнями. В «великом» пожаре 1658 года деревянная крепость сгорела, и по указу государя ярославцам было велено «городскую
осыпь укрепить так же, как укреплён на Москве Кремль». Всего за десятилетие на месте сгоревших выросли 16 каменных башен: 12 глухих и 4 проездные, служившие городскими воротами.