Наталия Николаевна Пушкина была правнучкой Дорошенко по материнской линии. Сначала усадьба, как приданое старшей дочери старшего сына гетмана, отошла к Загряжским, а затем в 1807 году таким же образом к Гончаровым (подробности далее). Ансамбль был создан в 1760-х годах. Очередное местное предание связывает его с именем Растрелли. Владелец Яропольца якобы пригласил знаменитого зодчего, воспользовавшись тем, что он находился неподалеку, в Новом Иерусалиме, где восстанавливал монастырь.

Архитектурный облик Яропольца благодаря своей завершенности представляется как бы эталоном русской усадьбы. «Готические» башни ворот напоминают шахматные ладьи. Пройдя их, посетитель оказывается внутри полукруга, образуемого служебными постройками. Главный дом с пристроенными флигелями стоит по диаметру. Его шестиколонный портик необыкновенно красив. Весь ансамбль выдержан в стиле классицизма с элементами неоготики. Высокие художественные достоинства заставляют предполагать авторство выдающегося архитектора. По-видимому, им был И. В. Еготов (1756–1815) — один из самых талантливых мастеров московской школы Баженова — Казакова.

Свой окончательный облик усадьба приобрела при генерал-майоре Б. А. Загряжском (1744–1809). О нем известно немногое; стоит упомянуть лишь то, что в 1791–1794 годах он был волоколамским уездным предводителем дворянства. После отставки он почти безвыездно жил в Яропольце, всецело посвятив себя хозяйству.

Его полной противоположностью был брат И. А. Загряжский (1749–1807). Он выделялся своей несдержанностью даже в среде дворянства того времени, отнюдь не склонного строго следовать предписаниям морали. Его рано женили на А. С. Алексеевой, по-видимому надеясь обуздать его буйство, но случилось как раз наоборот. Почувствовав волю, он пустился во все тяжкие. Близость к Потемкину только способствовала проявлению его страстей игрока и кутилы. Впрочем, он был храбрым офицером и дослужился до чина генерал-поручика.

Нелюбимую жену младший Загряжский отвез в Ярополец и забыл о ней. Неожиданно через несколько лет (около 1784 года) он приехал сюда с новой женой. Это была Ульриха фон Поссе, которую Загряжский похитил у мужа, владельца усадьбы Выйду около Дерпта. Правда, предварительно она все же успела развестись с прежним супругом. Загряжский не сказал ей, что женат, и они обвенчались. Но быстро выяснилось, что брак незаконен. Молодой женщине не оставалось ничего другого, как только оплакивать свою судьбу. Загряжский оставил и ее в Яропольце и вернулся в свой полк. Вскоре у новой жены родилась дочь Наталия, будущая теща Пушкина. Таким образом, она фактически была незаконнорожденной.

Но случилось неожиданное. Прежняя супруга прониклась к своей сопернице сестринской любовью. У нее уже были две дочери Екатерина и Софья. Все девочки воспитывались вместе; никакой разницы между ними никто не подчеркивал. Ульриха фон Поссе умерла в 1791 году. Благодаря протекции своей родственницы Н. К. Загряжской (дочери последнего гетмана Малороссии К. Г. Разумовского) сводные сестры были взяты ко двору и пожалованы во фрейлины императрицы Елизаветы Алексеевны, супруги Александра I. Наталия быстро освоилась во дворце, где стала общепризнанной красавицей. Говорили, что в нее был страстно влюблен А. Я. Охотников, фаворит императрицы.

Наталия Ивановна оставила без ответа любовь Охотникова. Она, конечно, не предчувствовала, что произойдет кровавая драма. Великий князь Константин Павлович был также влюблен в Елизавету Алексеевну. Поговаривали, что это он подослал к Охотникову наемного убийцу. Вечером 4 октября 1806 года в театре неизвестный смертельно ранил Охотникова ударом кинжала. Он умер через три месяца на руках Елизаветы Алексеевны. Об этом мрачном эпизоде в царской семье предпочитали не вспоминать.

А спустя неделю, 27 января 1807 года, в Придворной церкви Зимнего дворца состоялось венчание Наталии Ивановны Загряжской с Николаем Афанасьевичем Гончаровым (1787–1861). С первого взгляда партия выглядела блестящей. Замечательно образованный и красивый жених еще к прочим своим достоинствам был наследником громадного состояния. Но через несколько лет у него проявились первые рецидивы психического заболевания, со временем только прогрессировавшие. Семья фактически оказалась разрушенной. Муж уединился затворником в своем московском доме, а жена поселилась в Яропольце, полновластной хозяйкой которого она стала в 1821 года после имущественного раздела со сводными сестрами.

Венчание Пушкина с младшей из трех дочерей Гончаровых Наталией Николаевной состоялось 18 февраля 1831 года. Теща поэта продолжала жить в Яропольце почти в затворничестве. Ее отношения с Пушкиным, по крайней мере в первое время, были натянутыми. Между тем его семейство быстро увеличивалось — родились сын Александр и дочь Мария. После этого Наталия Ивановна несколько подобрела к своему зятю. У нее возник план выделить дочери в счет приданого часть Яропольца. По-видимому, Пушкин заехал в усадьбу по пути в Москву именно для того, чтобы выяснить новые денежные обстоятельства. В письме жене 26 августа 1833 года он сообщает подробности:

«…Пишу тебе продолжение моих похождений — из антресолей вашего Никитского дома, куда прибыл я вчера благополучно из Яропольца. В Ярополиц приехал я в середу вечером. Наталия Ивановна встретила меня как нельзя лучше. Я нашел ее здоровою, хотя подле нее лежала палка, без которой далеко ходить не может. Четверг я провел у нее. Много говорили о тебе, о Машке… Хотя она по своей привычке и жаловалась на прошедшее, однако с меньшей уже горечью. Ей очень хотелось бы, чтобы ты будущее лето провела у нее. Она живет очень уединенно и тихо в своем разоренном дворце и разводит огороды над прахом твоего прадедушки Дорошенки, к которому ходил я на поклонение. Семен Федорович, с которым мы большие приятели, водил меня на его гробницу и показывал мне прочие достопамятности Ярополица. Я нашел в доме старую библиотеку, и Наталия Ивановна позволила мне выбрать нужные книги. Я отобрал их десятка три, которые к нам и прибудут с варением и наливками. Таким образом, набег мой на Ярополиц был вовсе не напрасен…»[66]

По-видимому, Пушкин и Наталия Ивановна не уладили денежные вопросы. Он собирался вновь заехать в Ярополец на обратном пути, но Наталия Ивановна спешно отправилась в Полотняный Завод, известив поэта, что интересующие его книги будут высланы при первой же оказии. Помимо двух ящиков французских книг Пушкин также отобрал в библиотеке гончаровской усадьбы годовые комплекты «Санкт-Петербургских» и «Московских ведомостей» (за 1755, 1756, 1758 и 1766 годы). Упоминаемый в письме — явно саркастически — как «большой приятель» Семен Федорович Душин — управляющий имением. Вся семья единодушно обвиняла его в том, что просто-напросто грабит Наталию Ивановну, но та упорно не желала расстаться с ним. Это дало основание к сплетне, что они состояли в связи. Вообще замкнутый образ жизни Наталии Ивановны питал слухи, что она за закрытыми дверями пила — и «даже с лакеями» (так говорил Соболевский Бартеневу). Душин проводил Пушкина к могиле Дорошенко. Поэт сказал, что хорошо бы поставить над ней часовню. Его совет был принят; часовню воздвигли в 1842 году.