Губернаторский дом был построен местным архитектором П. Я. Паньковым в 1819-21 годах. Строительством этого дома, соединенного парком с главной площадью города - Ильинской (Советской) и расположенными там зданиями
присутственных мест, завершилось формирование административного центра города.
Трёхэтажное, первоначально увенчанное бельведером, здание с двумя флигелями главным фасадом выходит на набережную Волги. Устроенная напротив полукруглая терраса набережной, как бы продолжавшая балкон дома, виднеющаяся
невдалеке изящная беседка-ротонда связывают здание с пейзажем, создавая постепенный переход от жилого пространства дома к бескрайнему простору реки.