Осенью Голицыны получили предписание в течение двух недель покинуть Москву. Вся деятельность «мэра» была посвящена древней столице России, и он любил город как члена собственной семьи. Город был частью его жизни, а ссылка в таком возрасте означала, что «мэр» умрет, больше его не увидев. Все были взволнованы и измучены. За эти две недели они раздали большую часть мебели и книг, сожгли во дворе семейную переписку многих поколений: писем было гораздо больше, чем они могли взять с собой. Наконец, однажды утром на запряженные лошадьми телеги они принялись грузить свое имущество – немного мебели, несколько чемоданов, баулов и ящиков. Когда были уложены тяжелые вещи, Владимир принес семейные портреты, положил сверху и, накрыв, тщательно закрепил. Соседи молча наблюдали их отъезд. Голицыны жили в Еропкинском переулке семь лет. Здесь они справили четыре свадьбы и крестили трех новорожденных. Здесь были арестованы пять членов семьи. Когда они выезжали из Москвы, поднялся ветер и начался дождь. Владимир укрывал семейные портреты брезентом и подвязывал веревками, чтобы они остались целыми и сухими. Вечером они добрались до своего нового дома в деревне Котово по Савеловской железной дороге.

«Мэр» не поехал в Котово, он предпочел жить с семьей дочери Эли в Сергиевом Посаде. Здесь «бывшим людям» тоже приходилось несладко. В январе 1926 года Эли, ее муж Владимир и много других, включая Истоминых, Шаховских и Олсуфьевых, были объявлены лишенцами. Около трех тысяч человек, или 10 % населения городка, потеряли права, и среди них были не только дворяне, но священники, купцы, мелкие предприниматели, даже портные, слесари и другие ремесленники. Согласно официальным документам того времени, в эту группу попадали те, кто использовал наемный труд для извлечения дохода, участвовал в торговле, служил в царской полиции, а также находившиеся на иждивении лишенцев в возрасте до 18 лет.

В мае 1928 года «Комсомольская правда» и другие газеты печатали статьи, в которых утверждалось, будто Сергиев Посад сделался «столицей дворянства, черносотенцев и монахов». Пресса требовала от власти объяснений, почему большая группа «бывших» могла жить так открыто и работать во многих советских учреждениях. Владимир Трубецкой был отмечен особо. «БАРОНОВ И КНЯЗЕЙ НАДО НЕМЕДЛЕННО УВОЛИТЬ, ВЫГНАТЬ ИХ С СОВЕТСКОЙ РАБОТЫ», – кричал текст статьи, набранный заглавными буквами. «Рабочая газета» нападала на музей Свято-Сергиевского монастыря за большое число «бывших» в его штате. «Рабочая Москва» описывала сотрудников музея из «бывших» как «двуногих крыс». В том же месяце восемьдесят человек, включая четырнадцать монахов, были арестованы.

Трубецкие теперь жили на грани нищеты. С конца 1928 года хлеб выдавали по карточкам, которых лишенцу Владимиру и его семье не полагалось. Владимир потерял работу в ресторанном оркестре и кинотеатре. «Нам грозит голод, – писал «мэр», – хлеба больше нет». Они пытались разводить кроликов, но животные дохли. Немногие оставшиеся ценные вещи были отнесены в Торгсин, сеть государственных магазинов, где продукты, выдававшиеся по карточкам, можно было купить за твердую валюту или обменять на золото, серебро, драгоценные камни, антиквариат и произведения искусства.

В 1930 году Анна Голицына писала дочери:

Словно унижения нищетой было недостаточно, Владимиру пришлось пережить поношение предков, когда в июне 1929 года директор Сергиевского Свято-Троицкого музея вскрыл могилу его прадеда Владимира. Услышав об этом, Владимир сразу бросился к нему с упреками, но директор спокойно предложил Владимиру поделить с ним найденные в могиле превосходные вещи, в частности эполеты покойного и его череп, которые он держал у себя в кабинете.

Разруха и ожесточение заставляли Владимира чувствовать такую боль за Россию, что временами он делался болен физически. Пришвин разделял скорбь Владимира. «Русский народ погубил цвет свой, бросил крест свой и присягнул князю тьмы Аваддону», – писал он в дневнике.

В этих ужасных обстоятельствах дети Трубецких находили поводы для радости. Голодные, они катались в лесу на лыжах, каждый год ставили рождественскую елку и готовили пасхальные яйца. Летом любили играть под дождем. Играми, музыкой и шутками Эли и Владимир старались отвлечь детей от тяжелых жизненных обстоятельств.

14 апреля 1928 года муж внучки «мэра» Георгий Осоргин был отправлен из Бутырской тюрьмы в Соловецкий лагерь. Среди узников Соловков был и Дмитрий Лихачев, позднее ставший известным филологом и одним из моральных советских авторитетов. Он был совершенно очарован Георгием, этим «среднего роста блондином с бородкой и усами, всегда по-военному державшимся: прекрасная выправка, круглая шапка чуть-чуть набекрень… всегда бодрым, улыбчивым, остроумным». Лихачев видел в Георгии натуру, проникнутую глубокой религиозной верой. Это был тип человека, готового служить другим. Он работал делопроизводителем санчасти, всегда старался помочь ослабевшим заключенным, всеми правдами и неправдами доставляя им освобождение от общих работ.

Александр Солженицын в «Архипелаге ГУЛАГ» описывает, как Осоргин и другие его приятели смеялись, шутили и были всегда готовы высветить шуткой абсурдность своего положения, что было совершенно недоступно лагерной охране. «Ходит и посмеивается Георгий Михайлович Осоргин: „Comment vous portez-vous на этом островý?“ – „A la guerre comme à la guerre“. (Вот эти шуточки, эта подчеркнутая независимость аристократического духа – они-то больше всего и раздражают полузверячих соловецких тюремщиков.)»

С помощью Пешковой Лина смогла добиться свидания; они с Георгием жили в каюте катера, стоявшего у пристани на острове. Когда Лина уезжала, она была беременна. Ей удалось устроить второе свидание чуть больше чем через год, когда ее семью выселяли из Москвы. Положение Георгия было чрезвычайно тяжелым. Незадолго перед ее приездом Георгий был посажен в карцер; преступление его заключалось в том, что он дал одному умирающему священнику немного хлеба и вина для последнего причастия. Лагерное начальство согласилось выпустить Георгия из карцера на время свидания с Линой при условии, что он не скажет ей, что ему вынесен смертный приговор. Дмитрий Лихачев видел их прогуливающимися под руку, красивую элегантную брюнетку и счастливого, с мягким ироничным выражением на лице Георгия. Как утверждает Лихачев, тот сдержал слово и ничего не сказал жене. Лина осталась в уверенности, что они переживут его шестилетний срок и наконец соединятся навеки, даже если это будет означать ссылку в отдаленные места страны.