Купеческий род Пастуховых произошёл от "старинных посадских" Коровницкой сотни города Ярославля. Пастуховы вели оптовую торговлю хлебом, доставляя его на собственных судах в Ярославль, Рыбинск и Петербург; продавали лён
и пеньку, фарфор и хрусталь, французские вина. Со временем основную роль стала играть торговля железом, были куплены или построены несколько металлургических заводов в Предуралье и на Дону.
Пастуховы были крупными домовладельцами Ярославля, имели в центре города жилые усадьбы.
23 апреля 1851 года в Ярославле учреждается, "иждивением Коммерции Советника, потомственнаго гражданина, Ярославскаго 1-й гильдии купца, Александра Матвеева Пастухова, с племянниками его, почетными гражданами, Николаем и
Павлом Петровыми Пастуховыми, богадельня на улице Власьевской, для призрения престарелых и увечных людей обоего пола на 50 человек, преимущественно из мещанскаго сословия. Заведение это помещается в пожертвованном учредителями
каменном доме и, по фамилии их, именуется: Богадельня Пастуховых".
С 1851 до 1865 года обязанности эконома богадельни выполнял Николай Петрович Пастухов, и до конца своих дней был её попечителем.
По данным "Ярославских епархиальных ведомостей" (1901 год): "Богадельня Пастухова помещается в собственном здании по Власьевской улице. Здание - каменное, обширное, весьма светлое, вполне тёплое и сухое и содержится в
примерном порядке и чистоте. При доме имеются обширные двор и сад, а также и все службы хозяйственные. Живущие в богадельне, хотя число их довольно значительное, располагаются с величайшим удобством: старцы помещаются в нижнем этаже
дома, а старушки - в верхнем; первые занимают три просторные комнаты и четвёртую для рукодельных занятий, вторые - семь таковых же комнат.
Как вверху, так и внизу имеется по одной комнате, назначенной для заболевающих; кроме того есть особая столовая комната. Для нуждающихся в уединённой молитве существует в доме часовня; здесь же, в случае кончины кого-либо
из призреваемых, выставляются тела усопших и совершаются панихиды. Кроме призрения престарелых, богадельня еженедельно по субботам предлагает обед неимущим, которым каждый раз пользуются от 100 до 200 человек".
В 1917 году двухэтажная богадельня прекратила своё существование. Со временем, здание получает надстроенный третий этаж и используется как жилой фонд, и в настоящий период тоже не пустует, занято разными организациями.