В числе помещиков, которых прогнали с земли, была и Александра Толстая. В ноябре 1917 года она вернулась с фронта, где работала в полевом госпитале. Имя Льва Толстого не смогло защитить Ясную Поляну, ей грозила участь всех дворянских усадеб. Александра была увлечена революционными идеями. Она выкупила и передала крестьянской общине часть усадьбы; еще до войны, чтобы поддержать крестьян в своем собственном имении Новая Поляна, организовала молочную ферму и сельскохозяйственную артель.

Вскоре, однако, Александре с матерью пришлось покинуть Новую Поляну и переехать в поместье отца, где семья учредила Общество «Ясная Поляна», превратив имение в толстовскую коммуну. Александра обратилась за протекцией к Луначарскому, который назначил ее комиссаром Ясной Поляны и обещал поддержку. Тем не менее Александру Львовну арестовывали шесть раз, в том числе за связи с антибольшевистской подпольной организацией «Тактический центр». Она боролась за сохранение усадьбы, организовала там опытно-показательную станцию, ферму, музей и школу. Некоторое время в усадьбе существовали артель и больница для крестьян. Однако то, что Толстые все еще жили в усадьбе спустя семь лет после революции, у многих вызывало недовольство. В своей школе Александра Львовна препятствовала насаждению атеизма, и местная газета клеймила ее как «одну из таких буржуазных школ, которые надо уничтожать без малейшей жалости».

В конце концов Александре Львовне пришлось смириться с бесконечными ревизиями и комсомольской ячейкой в школе, в 1928 году в Ясной Поляне появилась партийная ячейка. Тогда же, по случаю столетия со дня рождения Толстого, дочь писателя обратилась к Сталину с просьбой помочь в финансировании празднований, однако он выделил лишь часть суммы, которую она попросила. А в «Правде» появилась статья, где говорилось, что бывшая графиня, «окружив себя буржуазным элементом, окопалась в прекрасном уголке – Ясной Поляне. Буржуи эти, генералы и бывшие царские прислужники, живут по-прежнему, устраивают оргии с вином по ночам, заставляя сторожей музея прислуживать себе, не давая им спать до утра, и за это бросают им подачки с барского стола». Напряженность в отношениях с властью росла; Александра Львовна понимала, что ей не удастся сохранить независимость и ей остается лишь одно – уехать. В 1929 году дочь великого писателя навсегда покинула Советский Союз.

В конце января 1929 года несколько сот представителей рода Шереметевых и их друзей съехались в Остафьево на похороны графини Екатерины Шереметевой, скончавшейся от туберкулеза в возрасте семидесяти восьми лет. Гроб несли на руках до церковного кладбища, где и похоронили графиню. Многие местные жители, мужчины и женщины, пришли засвидетельствовать свое почтение. В последний раз почти вся семья была в сборе: Павел, Прасковья, Василий, Анна Сабурова, Мария Гудович, ее дети Дмитрий, Андрей, Меринька, Николай Петрович Шереметев, его сестра Елена и ее муж Владимир Голицын и другие. Веками Шереметевы собирались по важным семейным случаям, но отныне браки, рождения и уход из жизни они будут отмечать скромно и тихо, стараясь не привлекать всеобщего внимания.

Уже в 1925 году велись разговоры о закрытии музея и превращении его в дом отдыха трудящихся. Серьезное давление началось два года спустя, когда Павел и Прасковья были объявлены лишенцами; Павел был отстранен от должности директора музея, хотя ему было разрешено остаться в качестве экскурсовода. Новый директор, ярый коммунист по фамилии Кереши, ненавидел Павла. Он сразу начал жаловаться в местные органы власти, что Павел якобы растратил деньги и самовольно распоряжался музеем как бывший владелец усадьбы. 16 июня 1928 года Кереши подписал приказ о выселении Павла и его семьи, затем уволил его. Павел написал в Цекубу и Енукидзе с просьбой о помощи, и последний призвал местные власти игнорировать распоряжения Кереши. Кереши был уволен, и на некоторое время дело затихло.

Однако Дмитрий Анкудинов, новый директор музея, вновь развязал кампанию против Павла. Он отобрал личную библиотеку Павла и уведомил подольские власти о том, что Павел задолжал музею несколько сотен рублей за проживание и питание. В июле Павел, представ перед подольским народным судом, должен был объяснить, как могло случиться, что в течение года, не имея легальной работы, он кормил и одевал свою семью. Павел заявил, что смог заработать, переводя статьи из американских научных журналов и продавая свои акварели; он сообщил суду, что пытался зарегистрироваться на Московской бирже труда, но ему как лишенцу было отказано. Дело Павла дошло до Президиума ВЦИК, который решил восстановить его в гражданских правах (и вернуть ему библиотеку), но обязал его и его семью выселиться. 29 октября 1929 года Павел, Прасковья и Василий навсегда оставили Остафьево.

Как ни тяжело было Павлу покидать Остафьево, это уберегло его от необходимости созерцать гибель любимой усадьбы. Разгром Остафьева начался еще при нем, летом 1929 года. Николай Ильин, сотрудник теперь уже Ленинской библиотеки, вспоминал, как директор библиотеки, неожиданно вызвав его из отпуска, отдал распоряжение спешно вывезти из подмосковного музея Остафьево все имевшиеся там книги (около пятидесяти тысяч томов). Усадьба понадобилась для размещения приезжавших на слет трех тысяч пионеров. Ильину было велено вывезти книги любым способом, не заботясь о сохранности, хотя бы даже пришлось покидать их в мешки, и доставить в Ленинскую библиотеку.

Ильин вспоминал, что, когда с немногочисленными помощниками он прибыл в Остафьево, там их встретили как могильщиков.