За разговорами и обдумыванием и не заметили, как подъехали к усадьбе Алексино, ярко освещенной в темноте вечера. Усадьбу приобрел еще отец Ивана Ивановича Барышникова, Иван Сидорович, у знатного землевладельца Салтыкова. Купцы, как сословие «неблагородное», не могли иметь поместья и крестьян, поэтому он купил имение на подставное лицо, на своего покровителя графа Ивана Григорьевича Орлова. В 1782 году его сын Иван Иванович был пожалован Екатериной II в потомственное дворянство, и с этих пор Алексино стало родовым имением семьи. Обустройство усадьбы началось сразу после покупки. Для этого для создания усадебного ансамбля пригласили лучшего архитектора того времени – Матвея Казакова.

Кроме усадьбы, в Алексине началось строительство здания бумажной фабрики и целого комплекса амбаров, складов и контор. Следы работы были видны даже сейчас, зимой – занесенные снегом ямы и кучи, копошащиеся в свете костров люди. Самой эффектной постройкой станет конный двор в виде крепости, который так и называли «Андреевская крепость», и церковь Михаила Архангела по проекту Матвея Казакова. Строительство будет вестись при непосредственном наблюдении крепостного архитектора Владимира Жданова, ученика Матвея Казакова. Вокруг дома разобьют новый парк с каскадом прудов, построят флигеля, музыкальный павильон.