Строительство на средства прихожан каменной холодной пятиглавой церкви во имя Воздвижения Креста Господня было начато в 1675 году, а освятил её, как сообщала надпись на храмоздательном кресте, ростовский митрополит
Иона Сысоевич в 1688 году. В память о явлении иконы Казанской Богоматери диакону Елеазару в храме был устроен Казанский придел, освященный в 1690 году.
Церковь Воздвижения была украшена росписями, завершёнными "в лето 1735, июня 19, на память св. апостола Иуды, брата Господня, при священнослужителях попе Прокопии Симеонове и диаконе Прокопии,
тщанием и радением приходских людей, купцов Викулиных; ярославскими художниками во главе со знаменщиком Алексеем Ивановым Сопляковым.
В 1823 году на средства купца Никифора Ивановича Мясникова были выполнены наружные росписи в закомарных полукружиях Крестовоздвиженской церкви, в их составе на южной стене была представлена "Повесть
диакона Елеазара о чудном ему откровении".
В 1860-1865 годах в церкви Воздвижения велись значительные работы, основными жертвователями которых являлись купцы братья Крохоняткины и Константиновы: к западному фасаду храма была пристроена и
украшена стенописями трапеза; устроены главный и придельный иконостасы, поновлены настенная живопись и значительная часть икон. Живописные работы осуществлялись под руководством иконописца Николая Позднеева,
золочение иконостаса проводилось купцом Иваном Крутиковым с сыновьями.