Слегка удивленная Марьяна отправилась в кабинет посла. Навстречу ей вышла секретарша и явно смущенно сказала, что товарищ посол занят и не может ее принять, но что товарищ советник ждет ее. Марьяна отправилась к нему. Советник, с лица которого как будто смыло обычную любезность, официальным тоном заявил ей, что для нее уже заказан билет на поезд сегодня вечером и ее ждут в Москве. Встревоженная Марьяна спросила, не заболел ли ее муж или дочь. «Все в порядке со здоровьем ваших близких, об остальном узнаете в Москве», — был ответ.

Поезд уходил в пять или шесть вечера. Марьяна провела весь день в своем апартаменте, безумно волнуясь. Никто не пришел. Никто не позвонил. Один из секретарей посольства отвез ее на вокзал и посадил в поезд. Только в Москве она все узнала от мужа».

Жалел ли Шепилов, что все так получилось? Тихон Николаевич Хренников рассказывал автору:

— Дмитрий Трофимович потом говорил, что, в общем, не собирался выступать против Хрущева так резко. Но, видимо, наболело. Он уважал Хрущева. Вместе с тем считал возможным и необходимым покритиковать товарища по партии. Но он не думал, что так получится.

Интеллигенция была огорчена его уходом. Илья Оренбург заметил с сожалением: «…он уже начинал кое-что понимать». Например, он разрешил создать Союз кинематографистов, и сделано это было в 1957 году.

Опалу он перенес более чем достойно. Дмитрий Косырев говорит: «Дед всегда знал, что рано или поздно его выкинут из политики, и был к этому готов».

Сразу после пленума Дмитрия Трофимовича положили в 7-й корпус больницы имени С.И. Боткина — у него случилось обострение язвы двенадцатиперстной кишки. Он лежал в одноместной палате и был подавлен происходящим: страна громила антипартийную группу. Все газеты были полны этим. Он плохо спал, у него болело сердце. За Шепиловым следили. Он советовал друзьям хотя бы на время забыть о нем: «Зачем вам неприятности из-за меня?»

Хрущев распорядился убрать Шепилова из Москвы. Ему подыскали работу во Фрунзе. 2 ноября 1957 года один из вице-президентов Академии наук СССР подписал распоряжение: «В соответствии с просьбой АН Киргизской ССР командировать члена-корреспондента АН СССР Д.Т. Шепилова в распоряжение президиума АН Киргизской ССР для использования на работе в качестве директора Института экономики. Разрешить проезд в г. Фрунзе самолетом за счет сметы Совета по координации».

Шепилова отправили в Киргизию директором Института экономики, но Хрущев все никак не мог успокоиться. Из директоров велено было Шепилова перевести в заместители. Рассказывали, что в Киргизии он часто приходил на вокзал и с тоской смотрел вслед уходившим поездам. Он точно томился вне Москвы. Он стал болеть. В 1959 году приехал в Москву. Его друг знаменитый хирург Александр Александрович Вишневский удалил ему желчный пузырь. Шепилову дали вторую группу инвалидности. Он с трудом сумел купить себе путевку в Железноводск. Пока он там находился, получил уведомление о выселении его из московской квартиры под тем предлогом, что у него во Фрунзе есть квартира, а две квартиры советскому человеку иметь не положено. В реальности квартиру во Фрунзе он, уезжая, сдал. Просто нашли повод доставить неприятность, выжить из Москвы. Это было наказание за своеволие.

Из Кисловодска по аппарату междугородной правительственной ВЧ-связи он позвонил Анастасу Ивановичу Микояну, который был очень близок к Хрущеву, попросил о помощи. Тот быстро сказал: «Я ничего не знаю, ты мне не звонил, но лучше выезжай в Москву».

Чиновника, который позволил Шепилову воспользоваться аппаратом ВЧ, уволили. Шепилов приехал в Москву и увидел, что его вещи выносят из квартиры. Операцию осуществляла милиция. Он сидел на лестничной клетке и связывал веревочкой книги. Восемь месяцев они с женой ночевали у знакомых.

Потом жене Шепилова, Марьяне Михайловне, удалось подкараулить жену Хрущева Нину Петровну, поговорить с ней. В память о старой дружбе Нина Петровна замолвила слово перед мужем. Хрущев смилостивился. Шепилову дали двухкомнатную квартиру на Кутузовском проспекте. Цековские чиновники с нескрываемым презрением говорили о своем недавнем начальнике: «Мы ему дали маленькую квартирку, а он спрашивает, где ему держать книги и бумаги. А мы ему объяснили: мы даем вам квартиру не для книг и бумаг, а для жилья».

Получив московскую прописку, он написал письмо с просьбой дать работу, потому что на одну пенсию не проживешь. Его вызвали в ЦК и спросили:

— Что бы вы хотели делать?

Шепилов ответил:

— Я ушел на фронт из Академии наук, я научный работник и хотел бы вернуться в академию. Может быть, я заработал себе право уже не вести никакой организационной работы, однако мог бы работать научным сотрудником.

В сентябре 1960 года его взяли в Главное архивное управление при Совете министров СССР ученым археографом. Другой работы для него не нашлось. Коллективу было приказано не проявлять к нему интереса, не заходить к нему без дела. Словом, не общаться. Занимался он тем, что писал рецензии на сборники документов, которые готовили к изданию архивные учреждения разных ведомств, но написанные им рецензии подписывал начальник Главархива, так что работа Шепилова была анонимной.

После XXI съезда партии, в феврале 1962 года, его исключили из КПСС «за активную антипартийную фракционную раскольническую деятельность». Академии наук-невиданное дело! — было предписано лишить его звания члена-корреспондента как «выступившего против интересов народа».

Время от времени он пытался добиться реабилитации. В 1970 году его принял министр обороны маршал Андрей Антонович Гречко. Через некоторое время Шепилов получил военную пенсию и право пользоваться услугами медицины Министерства обороны. Как отставной генерал он мог лечиться в военном госпитале и отдыхать в подмосковном санатории «Архангельское».

В 1973 году ему дали новую квартиру. 18 февраля 1976 года Комитет партийного контроля (КПК) при ЦК КПСС восстановил его в партии с сохранением партстажа. С ним разговаривал сам председатель КПК Арвид Янович Пельше, сказал, что справедливость восторжествовала. Беседа в КПК обнадежила Дмитрия Трофимовича. Он надеялся, что теперь ему найдется какая-то более интересная работа. Но единственное, что для него сделали, это повысили в должности, перевели в старшие археографы.

В ноябре 1982 года он вышел на пенсию — в возрасте 77 лет. Но он вовсе не был немощным стариком. Он всегда очень аккуратно одевался, хотя начисто был лишен тяги к материальным благам, ничего не имел и никогда от этого не страдал. Отличался тем, что любил писать письма — редкое качество для людей XX века.

При всех его горестях утешением было то, что друзья остались друзьями. Среди музыкантов он пользовался непререкаемым авторитетом отнюдь не в силу высокой должности. Тихон Хренников вспоминал: «Шостакович приглашал его на все концерты, даже когда Шепилов был уже вне политики и без должности, и всегда интересовался его мнением».

Однажды Тихон Хренников достал ему билет на премьеру в Большой театр, а рядом оказалось место министра культуры Екатерины Алексеевны Фурцевой. Она была возмущена: «Кто посмел продать билет Шепилову? Да еще на место рядом со мной?!»