Борис с трудом приспосабливался к жизни в ссылке. Из Самарова его перевели в Селиярово, где он жил в юрте, отдавая хозяевам все свои скудные деньги за угол и стол. Из еды были только суп, вареная рыба и чай. Работы он найти не мог и по большей части читал религиозные книги, спал, писал, ждал писем из дома и боролся с депрессией.

Анна и Ксения хлопотали, писали прошения, встречались с Пешковой. Хлопоты, однако, успеха не имели.

Проходили месяцы, но ничего не менялось. Юрий держался бодро, но и у него случались периоды, когда он падал духом, остро переживая отсутствие связи с внешним миром. Борис весной 1931-го переехал обратно в Самарово, где снимал койку у пожилой пары. Он так и не нашел работы и ухитрялся выживать на деньги, которые присылали мать и Юрий; с деньгами было так туго, что он не мог купить конвертов для писем, которые делал из старых газет, утешаясь лишь воспоминаниями о счастливой и безвозвратно ушедшей жизни.

Анна отвечала ему тем же, вспоминая об утраченном счастье:

Тем не менее она убеждала сына в необходимости жить настоящим: «Многие живут только прошлым или будущим (как мы теперь), но надо всегда жить в „момент“ – пока живешь, где бы ни очутился, и собою наполнять обстановку…» Анна не теряла веры в будущее до конца своих дней. Она научилась жить без страха и признавалась Борису, что все ее страхи умерли в Наугольном доме на Воздвиженке в 1918 году, когда чекисты увели «Папу».

Лето 1930 года застало Анну и Ксению Сабуровых в Калуге. Анне предложили работу учительницы пения в музыкальной школе при условии, что она перестанет ходить в церковь и примет участие в организации школьной антирелигиозной пропаганды. Она отказалась. Анна немного зарабатывала частными уроками английского. Ксения работала уличным продавцом газет, подрабатывала в библиотеке техникума.

Много лет Ксения скрывала от родных свою тайну, которая стала известна только в 1931 году. После переезда в Калугу, последовавшего за «делом фокстротистов», Ксения познакомилась с англичанином Джорджем Дэниэлем Пейджем, работавшим учителем английского языка. Он был существенно старше Ксении, даже старше ее матери. Тем не менее Ксения, которой тогда было двадцать четыре, с ним обручилась с условием держать помолвку в секрете в течение шести лет – до свадьбы, которая должна была состояться в 1931 году. Брак, однако, оказался недолгим, он продолжался всего месяц и пять дней. Вскоре после свадьбы Пейдж стал готовиться к возвращению в Англию, возможно под давлением ОГПУ. Он хотел, чтобы Ксения уехала с ним, но она отказалась; она не могла себе представить, что бросит мать одну, когда Борис и Юрий в ссылке. 2 января 1932 года Пейдж уехал. Ксения никогда больше не видела мужа, хотя они много лет продолжали переписываться.

В 1932-м, отбыв три года ссылки, Борис и Юрий вернулись домой. Анна поехала встречать Бориса. Он был слаб, измучен и оборван, на ногах у него болтались ветхие галоши, набитые соломой и подвязанные веревочками. Соединившись, Сабуровы поселились во Владимире. Татьяна Аксакова-Сиверс, побывавшая у них, не могла не заметить, как трудно они живут. У всех были сложности с работой, жили впроголодь, зависели от помощи Павла Шереметева, регулярно присылавшего продукты и деньги. Все четверо выглядели бледными и слабыми, зато наконец они были вместе.

Но через четыре года, 26 апреля 1936-го, Бориса и Юрия вновь арестовали. «Никогда не забуду маминого лица, – вспоминала Ксения без малого через полвека, – она вошла в мою комнату, стала в дверях, вся дрожа, и произнесла только: „Обоих!“» Братьев увели в комендатуру ивановского НКВД и несколько месяцев держали во внутренней тюрьме в полной изоляции. Во время обыска у Сабуровых нашли несколько изданий Библии и множество книг по церковной истории. Когда следователь спросил Юрия о его политических взглядах, тот заявил: «Я монархист». Обоих братьев, как и в 1929-м, обвинили в контрреволюционной пропаганде, агитации и хранении контрреволюционной литературы. Юрия обвиняли еще и в участии в подпольной военной организации. Эти аресты были частью большой операции, проводившейся во Владимире. За несколько дней перед арестом Сабуровых было арестовано множество священников. Один из них, отец Афанасий, ковровский епископ (позднее причисленный к лику святых), был обвинен в связях с Ватиканом и белогвардейцами на Украине. Братьев приговорили к пяти годам лагерей и отправили в Вологду, а затем в Котлас и здесь разделили. Юрий отправился в Ухтпечлаг, группу лагерей на реках Ухте и Печере в Коми. Борис – в Белбалтлаг в Карелии. Путь Юрия лежал на север и восток, Борис перемещался на запад.

В конце 1936-го – начале 1937 года Юрий сменил несколько лагерей. 19 апреля 1937 года он писал из лагеря близ станции Ветлосян, что ни писем, ни посылок, ни денег, которые родные посылали, не получал. Он винил себя, что долго не отвечал, но объяснял, что у него не было ни карандаша, ни бумаги: «Я живу сравнительно неплохо. За это время перебывал на 3 лагпунктах, но ни разу ни на каких тяжелых работах не работал. Хворал дизентерией. Последнее время работаю на лаптях – учился плести лапти, собственно не плести, а только заготовлять лыко для плетения. Работа, конечно, не тяжелая, в теплом помещении».

Это было последнее письмо от Юрия, весной он умер от дизентерии. Когда письма от него перестали приходить, Анна несколько лет делала запросы о здоровье и положении сына, но ответов не получала. И только в 1940 году получила официальное извещение, что Юрий дополнительно приговорен к десяти годам заключения «без права переписки» и выслан в лагерь в Сибири. Анна умерла, так и не узнав правды о судьбе сына.

Бориса тоже несколько раз перебрасывали из лагеря в лагерь. Весной 1937 года он заболел и был освобожден от тяжелых работ в лесу. Анна, которая посылала ему еду и деньги (последние до него никогда не доходили), написала Пешковой с просьбой помочь Борису попасть в лагерный госпиталь в Медвежьей горе (позднее – Медвежьегорск). Борис направил аналогичный запрос начальнику лагеря; он надеялся, что его если не отправят в госпиталь, то переведут в рабочий корпус Бутырки. Лагерное начальство проигнорировало эти просьбы, а состояние Бориса ухудшалось. Ноги у него опухли, и он не мог ходить. К лету он был уже лежачим. Улучшенное питание и более мягкие условия содержания, а позднее посещение лагерных врачей вернули Борису здоровье, и к концу года он вновь оказался в бараке на Сеннухе. Зиму он провел на лесоповале, и к весне его здоровье ухудшилось. Ноги опять отекли, в легких появилась жидкость, ему было трудно дышать. Анна пыталась добиться его освобождения, но все ее просьбы были отвергнуты. В начале июля 1938 года Борис понял, что умирает. Он написал матери и дяде Павлу Шереметеву, чтобы они не посылали ему больше продуктов. 2 августа его похоронили на лагерном кладбище на Сеннухе; он умер, меньше месяца не дожив до своего сорок первого дня рождения.