После большого Ярославского пожара 1658 года, по указу царя Ивана Васильевича Власьевская башня была возведена из камня. Проезжая Власьевская башня, как и её двойник Семёновская башня, была дополнительно защищена
отводной башней-стрельницей, от которой был перекинут мост через ров. По описанию, сохранившемуся в Переписной книге Ярославля 1668 года, башня завершалась шатром, толщина стен превышала 3 метра, высота с зубцами — более 17 метров.
На Власьевской башне (проезжей и отводной) было сделано «нижних и середних и верхних, и промеж зубцов… по 89 пушечных и мушкетных боев да по 44 окна варовых». А в смете за 1685 год сообщается любопытная подробность: у Власьевской
и Семёновской башен «сделаны два тайника к нижним боям».
Одновременно с постройкой Власьевской башни на стенах были написаны иконы — Знамения Богоматери над восточным входом и Спасителя над западным. В 1820 году разобрали полубашню-стрельницу, при этом образ Спасителя,
находившийся на её стене, вырубили и целиком вставили в стену основной башни с западной стороны. Для этого над воротным проездом на высоте верхних боев выдолбили глубокую впадину высотой в 23 ряда и шириной в 5,5 кирпичей.
В эту впадину и вставили вырубленную из отводной башни четырёхугольную глыбу стены, заключив её в толстую деревянную обвязку.
В 1780-х засыпали ров, разобрали мост и срыли земляной вал с южной стороны башни, а к её южной стене пристроили дом графа Салтыкова. В 1810-х срыли земляной вал с северной стороны башни, к северной стене пристроили
двухэтажное здание, в 1860-х ставшее гостиницей Кокуева.
В 1883 году башню надстроили помещением для напорного бака городского водопровода, стилизованным под верхний ярус.
Во второй половине XVII века к образу Знамения Богоматери над восточным входом сделали деревянную лестницу с площадкой, а затем к стене башни пристроили небольшую деревянную часовню «на столбах». В 1780-х
к восточной стене вместо деревянной часовни пристроили каменную, а в 1850 году часовню расширили, в 1861 — перестроили в храм во имя Знамения Божией Матери, наконец, в 1897 году Знаменскую церковь перестроили, значительно увеличив
длину и высоту с этого времени Власьевскую башню стали называть Знаменской.
В 1924 году по приказу советских властей из западной стены башни был вынут и уничтожен образ Спасителя, а весной 1932 уничтожена и икона Знамения Божией Матери.
На фотографии начала ХХ века справа к башне пристроено здание, в котором находился банк (1796 год, перестраивалось в 1825 и 1907), а сейчас находится Экономический факультет Ярославского государственного университета и другие заведения.
Слева двухэтажная гостиница купца Кокуева и магазин A. Лобанова «Босфор», где можно было приобрести чай, кофе, марочные вина и различные бакалейные товары.
В ноябре 1978 года, ночью по ветхости, обрушился потолок в восточном крыле бывшей гостиницы Кокуева. Восстанавливать здание власти сочли не целесообразным и 26 марта 1980 года горисполком принял решение № 222 «О полной
ликвидации здания гостиницы».