26 октября 1933 года Владимир Голицын уехал в Москву по делам, а через два дня был арестован на квартире его двоюродного брата Алексея Бобринского. Через несколько дней, не дождавшись мужа, Елена отправилась на поиски. Она посетила друга Владимира Павла Корина. Корин тогда писал портрет Генриха Ягоды, заместителя председателя ОГПУ, и обещал замолвить перед ним за Владимира словечко. В Москве Елена узнала, что через несколько дней следом за Владимиром арестовали его двоюродного брата Александра Голицына, сына Владимира Владимировича, и Петра Урусова, шурина Александра. Всех троих обвинили в создании подпольной организации в целях убийства Сталина.

В качестве улики ОГПУ использовало найденный в квартире Бобринского револьвер, который якобы должен был послужить орудием убийства. Находка оружия заставила многих членов семьи Голицыных подозревать, что Владимира и остальных подставил их кузен Алексей. Многие давно подозревали, что Алексей был осведомителем ОГПУ. Подозрения возникли в ходе предыдущих арестов, когда выяснилось, что власти хорошо информированы о частной жизни семьи, и единственным источником этой информации мог быть Алексей. Более того, у Алексея был доступ к оружию. В конце 1929 года в Москву приехал недавний выпускник Стэнфордского университета Робин Кинкед, который стал помощником известного журналиста Уолтера Дюранти. Алексей свел знакомство с Кинкедом и служил у него личным секретарем. Револьвер, который обнаружило ОГПУ, принадлежал Кинкеду, и Голицыны были убеждены, что Алексей намеренно взял у того револьвер, чтобы подставить собственную семью. Если действительно таков был его план, то он сработал против него самого, поскольку Алексея также арестовали.

Владимира вскоре выпустили благодаря вмешательству Ягоды. Алексея приговорили к десяти годам лагерей в Воркуте. Александр Голицын получил три года, которые отбывал в лагере на станции Яя в Западной Сибири. Петр Урусов был приговорен к трехлетней ссылке в Петропавловск в Казахстане. Его жена Ольга поехала за ним.

Родственникам Голицыных в Сергиевом Посаде тоже досталось. В апреле 1933 года Владимир Трубецкой был арестован по доносу его товарища музыканта, который сообщил в ОГПУ, что Трубецкой внушал жене и детям антисоветские взгляды. Владимира увезли в Москву и месяц держали на Лубянке, но затем отпустили.

За несколько месяцев перед тем, осенью 1932 года, ОГПУ арестовало Михаила Скачкова. Бывший белый офицер, бежавший после Гражданской войны в Чехословакию и вернувшийся в Советскую Россию в 1926-м, Скачков работал в иностранном отделе Главлита, главного цензурного ведомства. Оказавшись в очередной раз под следствием, Скачков назвал множество людей членами подпольной контрреволюционной организации, включая Владимира и Сергея Голицыных и их дядю Владимира Трубецкого. Чекисты однако не обратили на них внимания и сосредоточились на известном лингвисте Николае Дурново и его сыне Андрее. В 1928-м отец и сын Дурново были арестованы. Их арест проходил в рамках так называемого «дела славистов».

На допросах Андрей Дурново признался, что якобы состоял в фашистской организации под названием «Российская национальная партия» (РНП). Накануне нового года чекисты арестовали невесту Андрея Варю Трубецкую, а через несколько дней – ее отца Владимира. Всего было арестовано около семидесяти человек, почти все – ученые и интеллектуалы, лингвисты и филологи. По каким-то неясным причинам ни разу не были арестованы братья Владимир и Сергей Голицыны, а также Павел Шереметев, чье имя значилось в списке членов РНП. Инициаторами РНП были провозглашены эмигранты, проживавшие в Западной Европе, а главными среди них – брат Владимира Трубецкого Николай, профессор Венского университета, один из величайших лингвистов XX века, и его друг и коллега лингвист Роман Якобсон. Николай Трубецкой был одним из создателей евразийства, политического движения в эмигрантском сообществе, рассматривавшем большевистскую революцию как необходимый шаг на уникальном историческом пути России, который в конце концов приведет к тому, что коммунисты отбросят марксизм ради русского православия. Мужчины и женщины, арестованные по «делу славистов», обвинялись в тайной работе для достижения этой цели под руководством зарубежных наставников. Владимир Трубецкой, которому в 1930 году позволили отвезти больного сына Гришу на лечение в Париж, где он встречался с братом и многими другими эмигрантами, считался связным РНП.

Большинство арестованных были приговорены к ссылке, однако для многих, включая отца и сына Дурново, причастность к этому делу означала расстрел. Варя Трубецкая была приговорена к трем годам ссылки; ее отец получил пять лет лагерей, которые были заменены ссылкой. В апреле 1934 года Владимир и Варя в сопровождении нескольких агентов ОГПУ были отправлены пассажирским поездом в Андижан.

Андижан служил важным перевалочным пунктом на Великом шелковом пути, пока его не разрушил Чингисхан; он расположен в центре Ферганской долины у подножия Памирских гор – «крыши мира». В те годы это был городок с семьюдесятью тысячами жителей, зелеными парками, театрами, кино, базарами, хлопковыми фабриками и огромной пивоварней. Это был многонациональный город, где жили узбеки, бухарские евреи, русские, украинцы, татары и армяне. Большинство узбекских женщин носили паранджу из темно-синего или золотого бархата.

Когда Эли узнала, куда высылают мужа и дочь, она стала собираться за ними следом. Распродала большую часть фамильных вещей, заняла денег у родственников и в мае 1934 года отправилась в дальний путь. Это было впечатляющее зрелище: Эли на восьмом месяце беременности, окруженная шестью детьми в возрасте от восьми до девятнадцати, со множеством узлов и старых чемоданов. Они нашли жилье у местного узбека, который согласился сдать им половину дома. Через месяц после приезда Эли родила Георгия.

Хотя он по-прежнему был лишенцем, Владимир без труда нашел работу в ресторанном оркестре, играл и в государственном театре Узбекистана. Вместе с несколькими друзьями они создали джазовый оркестр и давали концерты. Зарабатывал он мало, должен был играть ночь напролет, и такая жизнь его изводила. За вычетом обязанности регулярно отмечаться в местном НКВД (как стало называться ведомство с середины 1934 года), Владимир мог делать, что хотел.

Владимир и Эли заново устроили семейную жизнь в Средней Азии, совершенно непохожую на жизнь в России. Владимир усвоил некоторые местные обычаи: отказался от стульев и сидел на корточках, вместо европейского костюма носил вышитую тюбетейку и длинный халат, который надевал поверх галифе, обувался в ботики с обмотками. Они с Эли свели знакомство с соседями узбеками, болтали и курили с ними во дворе. Старшие дети работали, младшие ходили в школу. В выходные они гуляли по горам, ловили рыбу или отправлялись в местный парк культуры и отдыха, с его аттракционами, пивной и плавательным бассейном. Со временем Владимир смог скопить денег на покупку предметов роскоши: швейную машинку для Эли, велосипед для детей и радиоприемник.

Когда Владимир был дома, он писал на кухне, а дети бегали и играли вокруг него. Его перу принадлежат несколько рассказов, навеянных красотами экзотического мира Средней Азии (из которых был напечатан только один, и то под псевдонимом, поскольку они не вписывались в каноны советской литературы того времени), и воспоминания «Записки кирасира» о своей офицерской жизни до революции. Единственный экземпляр воспоминаний, к счастью, сохранился, и они были впервые напечатаны в 1991 году. Владимир часто писал письма любимому племяннику. Он потчевал его рассказами о своем джазовом оркестре с безумным пианистом-кокаинистом, о прекрасных женщинах, с которыми флиртовал в дороге, и проститутках, фланировавших между столиками в табачном дыму.