По другой версии, Остафьевский музей был закрыт решением Моссовета, дабы превратить Остафьево в Дом отдыха членов ВЦИК. К концу 1929 года от старинного поместья и его коллекции не осталось ничего. Многое из Остафьевского музея, включая переписку декабристов, было, по всей видимости, украдено и так и не дошло до библиотек и архивов.

Уничтожение Остафьева было лишь одной мелкой стычкой на культурном фронте в годы «великого перелома». Такая же участь постигла большинство других дворцов и музеев. На протяжении 1920-х годов давлению подвергался Музей дворянского быта в Фонтанном доме, бывший Шереметевский дворец в Ленинграде. Городские власти утверждали, что демонстрация великолепия образа жизни аристократов вроде Шереметевых не соответствует требованиям нового пролетарского общества. В апреле 1929 года Совнарком принял решение закрыть музей и превратить здание в студенческое общежитие или Дом атеистов – центр антирелигиозной пропаганды под эгидой Союза воинствующих безбожников. Обширная коллекция разошлась по другим музеям, а предметами, которые сочли недостойными музейных собраний, обставили кабинеты советских чиновников и холлы гостиниц. Впоследствии интерьеры будут изуродованы до неузнаваемости, чтобы освободить место для целой вереницы организаций, в том числе Дома занимательной науки (популярного детского музея), Института астрономии и Научно-исследовательского института Арктики и Антарктики, устроившего в подвале бассейн для испытания макетов первых советских атомных ледоколов.

Семь агентов ОГПУ посетили Музей-усадьбу Кусково в то самое время, когда разрушали Остафьево. Им не понравилось то, что они там увидели: «Музей-дворец быв. графа Шереметева историческая ценность сомнительна, так как подобных берлог бывших сатрапов под Москвою много. Населяют этот дворец подозрительные в прошлом люди». Они отмечали, что расходы на музей не оправданы, и рекомендовали его ликвидировать, а здания переоборудовать под больницу или школу. Отдел образования Моссовета пытался Кусково сохранить. Путь к решению этой проблемы отдел видел в идеологическом переосмыслении усадьбы. Музей должен был не демонстрировать жизнь дворянства, а служить памятником крепостным крестьянам, страдавшим от диких причуд своих господ. Хотя Кусково и было создано по заказу графа Шереметева, строилось оно трудом крепостных, и этот труд музей и призван прославить и продемонстрировать. В официальный текст, предназначенный для путеводителей по музею, с середины 1930-х были включены строки о «чрезвычайной грубости графов Шереметевых». Посетители должны были разглядывать роскошные залы и галереи дворца, чтобы «лучше узнать своего врага, а следовательно, проникнуться к нему более глубокой и осознанной ненавистью».

К концу Второй мировой войны 95 % российских усадеб исчезли. Некоторые были разрушены целенаправленно; большинство просто брошено и разграблено, оставшись гнить и разлагаться. Огромное культурное наследие было фактически стерто с лица земли.

Изгнанный из Остафьева Павел поселился с семьей в Новодевичьем монастыре в Москве. Борис Садовской, поэт и критик Серебряного века, описал их прибытие в своем дневнике:

Основанный в начале XVI века Василием III, отцом Ивана Грозного, Новодевичий монастырь на протяжении многих веков служил женским православным монастырем и тюрьмой для женщин царской крови, которых заставляли принять постриг. В 1922 году коммунисты закрыли монастырь и превратили его в Музей эмансипации женщин. С началом «великого перелома» древний собор Смоленской Богоматери был закрыт, трапезные и кельи сестер преобразованы в общежитие для студентов, заводских рабочих и госслужащих. Одна из студенток, Ольга Горлушкина, подружилась с Шереметевыми:

Шереметевых поселили в большой светлой комнате, но соседи тут же начали возражать против того, что «бывшие люди» занимают такую хорошую комнату, и их переместили в темную комнатку в монастырской Напрудной башне, где томилась в заточении царевна Софья, единокровная старшая сестра Петра Великого, регентша России в 1680-е. Помещение в башне было круглое и небольшое, примерно в пятьдесят пять квадратных метров, однако оно казалось значительно меньше, поскольку было набито книгами, картинами, иконами и остатками старины из шереметевского архива. Большая часть этого семейного наследия была сгружена в центре комнаты и накрыта брезентом, по кругу вдоль стен стояли книжные полки. Слухи о новых жильцах и их имуществе распространились мгновенно, и к ним неоднократно залезали воры. В квартире не было ни туалета, ни раковины, ни плиты, все эти удобства располагались в других постройках монастыря. Зимой в чашках замерзал чай.

Павел пытался заработать денег, чтобы поддержать семью. Несмотря на то что его восстановили в правах, он все не мог найти работу. На помощь Павлу пришел В. Д. Бонч-Бруевич, старый большевик, историк, руководитель Центрального музея художественной литературы, критики и публицистики (послужившего основой будущего Государственного литературного музея – убежища «бывших людей», – который он также возглавлял с 1934 года). Видимо, благодаря хлопотам Бонч-Бруевича Павла наняли в конце 1930-х на работу в Наркомат просвещения и дали жилье в Напрудной башне, которое формально числилось как «служебное»: иначе всю семью могли выставить на улицу. Благодаря Бонч-Бруевичу Павел получил работу в нескольких небольших научных проектах (писал статьи, делал переводы), но на жизнь по-прежнему не хватало. Ему удалось также получать небольшие заказы от различных музеев на построение диорам, иллюстрации для путеводителей, составление описей, проведение экскурсий. Отпрыск богатейшего в России рода, владевшего множеством крепостных, Павел зарабатывал, рисуя картины, изображавшие жестокости крепостничества. Для Останкинского музея он писал портреты своей прабабки, крепостной певицы Прасковьи, ее отца, неграмотного крепостного кузнеца, и самой близкой ее подруги Татьяны Шлыковой, гениальной крепостной балерины.