На восточном фасаде Власьевской башни при её сооружении был написан образ Богоматери Знамение, на западном - образ Спаса, скопированный, как гласила народная молва, с изображения на Спасской башне Московского Кремля.
Поясной образ Богоматери Знамение, помещённый над крепостными воротами, олицетворял небесное покровительство и заступничество городу.
В древности, по преданию, к образу Богоматери Знамение сначала вела деревянная лестница с площадкой, а затем к восточному фасаду башни пристроили небольшую деревянную часовню "на столбах", где "всегда неугасимая свеща
стоит". Часовня принадлежала находившейся поблизости Власьевской церкви. Причиной передачи её в 1736 году Афанасьевскому монастырю послужила ограниченность средств у обители, вследствие чего архиепископ Иоаким распорядился:
"У образа Знамения Божьей Матери, что на башне Власьевских врат, отправлять молебны ярославского Афанасьевского монастыря иеромонахам и все подаяния, к этому образу бываемые, употреблять в пользу того монастыря".