3 июня 1964 года Президиум ЦК КПСС утвердил освобождение Грибанова с занимаемых постов в КГБ с зачислением в действующий резерв по должности заместителя начальника отдела Главного управления КГБ. 6 июня приказом по КГБ он был отозван в распоряжение Управления кадров. В тот же день Совет Министров СССР освободил Грибанова от обязанностей члена Коллегии КГБ при СМ СССР. 26 августа 1964 года Олег Михайлович Грибанов, находившийся в распоряжении Управления кадров КГБ при СМ СССР, был откомандирован в распоряжение Государственного производственного комитета по среднему машиностроению СССР с зачислением в действующий резерв КГБ.

Это было уже накануне смещения Хрущёва. 13 октября 1964 года началось заседание Президиума ЦК КПСС, на котором Хрущёв был подвергнут критике за многочисленные ошибки, допущенные в работе, и создание культа своей личности. На следующий день Хрущёв написал заявление об отставке, и вечером того же дня пленум ЦК КПСС освободил его от должности первого секретаря ЦК КПСС, а также признал нецелесообразным совмещение постов руководителя партии и правительства. 15 октября 1964 года указом Президиума Верховного Совета СССР Хрущёв был освобождён от должности Председателя Совета Министров СССР.

В это время первым секретарем ЦК компартии Украины был Пётр Ефимович Шелест. Согласно его дневниковым записям, Брежнев, сменивший Хрущёва, предлагал председателю КГБ Семичастному физически устранить Хрущёва: «Семичастный мне рассказал, что ему Брежнев предлагал физически избавиться от Н.С. Хрущёва, устроив аварию самолёта, автомобильную катастрофу, отравление или арест. Всё это Подгорный подтвердил и сказал, что Семичастным и им все эти “варианты” устранения Хрущёва были отброшены…»

Таким образом, Семичастный являлся ключевой фигурой в смещении Хрущёва. Почему же он, как председатель КГБ, не вернул Грибанова – более того, Грибанов вскоре был исключен из партии. А ведь, как мы видели выше, Семичастный не верил в предательство Носенко. Значит, опала Грибанова была составной частью какой-то другой «Большой игры»? Отметим, что все упоминавшиеся выше участники этих событий – Шелест, Хрущёв, Брежнев, Семичастный, Подгорный, Носенко – являются выходцами с Украины.

С 27 февраля 1965 года Грибанов работал заместителем директора завода № 1134 по режиму и охране Министерства среднего машиностроения СССР, оставаясь в действующем резерве КГБ по должности заместителя начальника отдела Управления. 7 августа 1965 года он был уволен из органов КГБ по статье 59 п. «Д» (по служебному несоответствию) в запас Советской Армии, а также лишен знака «Почётный сотрудник госбезопасности». Тогда же решением Парткомиссии при ЦК КПСС Олег Михайлович Грибанов был исключен из партии.

Однако начальник Главного управления разведки (Hauptverwaltung Aufklärung HVA) Министерства государственной безопасности (MfS) ГДР генерал-полковник Маркус Вольф продолжал называть его либо как «учитель», либо как «дедушка Олег».

«В свое время, возглавляя по линии КГБ розыск особо опасных государственных преступников, я занимался и делами на предателей из КГБ, – пишет в своей книге “Записки контрразведчика” (1994) генерал-майор Вадим Николаевич Удилов. – Разбираясь с ними, изучая изложенные в делах материалы, факты, показания, результаты экспертиз, я как-то по-разному относился к этим людям. Некоторые случаи гнусного предательства не вызывали у меня никакого сомнения. Например, предательство Гордиевского, продавшего Родину за тридцать сребреников. В середине восьмидесятых годов в КГБ из нашей итальянской резидентуры пришла шифровка о побеге Юрченко к американцам. Сообщение о его побеге меня просто ошеломило! С Виталием Сергеевичем я неоднократно “ходил в разведку”, проводил оперативные мероприятия, образно говоря, “на кончике ножа”, вплоть до нелегального перехода границы. Несмотря на привешенный к нему ярлык предателя, я продолжал сомневаться. Не мог этот русский патриот за понюшку табаку продать Родину! И вот снова сенсация! Юрченко, обманув охрану, сбежал от американцев и в сопровождении советских посольских работников прибыл в СССР. Вот о чем рассказал мне Виталий Сергеевич позднее. Акция была спланирована американцами заранее. Мазнув чем-то по лицу, они моментально лишили Юрченко сознания. В таком виде и вывезли его в США. Там пытались его запугать, сломить и заставить публично заявить о добровольном переходе к американцам. И Виталий изменил тактику. На встрече с крупным работником ЦРУ он сделал вид, что заинтересовался миллионной суммой гонорара. Стал выходить в город с целью покупки вещей, постепенно усыпил бдительность сопровождающих. Хорошо зная Вашингтон, он сумел в одном из магазинов позвонить по служебному телефону в посольство. Ему удалось выскочить незаметно из магазина и прибежать в здание посольства, где его у входа уже ждали наши дипломаты, а слежка агентов ФБР или ЦРУ еще не успела перекрыть подходы. Юрченко повезло! Он знал в Вашингтоне в силу специфики предыдущей деятельности даже проходные дворы. Ну, а что могло случиться с теми сотрудниками, кто, не зная улиц Вашингтона, оказался бы там в положении Юрченко? И здесь я подошел к вопросу, который до сих пор волнует меня. Это предательство или так называемое “предательство” сотрудника контрразведки Юрия Носенко! Так же как и Юрченко, Носенко, выехав в командировку в Швейцарию, вдруг пропал и очутился в США. Ярлык изменника Юрию Носенко был присвоен сразу. Бывшие комсомольские вожди, стоявшие тогда во главе КГБ, затеяли страшную кадровую чехарду. Чуть ли не сотня сотрудников разведки и контрразведки, знакомых с Носенко, немедленно были отозваны из резидентур, многие, с которыми Носенко просто общался в СССР, уволены со службы, некоторые даже без пенсии. Начальник контрразведки страны снят с должности и отправлен на работу в Пензу, затем выведен на пенсию. В конце того, 1964 года по комитету прополз слушок, что он просто являлся неудобной фигурой в заговоре по снятию с поста Н.С. Хрущёва и предлог был найден. Вообще получилась какая-то своеобразная “культурная революция”, проведенная в масштабах КГБ СССР доморощенными хунвэйбинами. Но вот оказия! Время шло, а последствий этого предательства не было. Правда, кое кто из руководства заявлял, что Носенко продал американцам нашу электронную подслушивающую систему в посольстве США в Москве. Нас тогда удивило, что и американская пресса подтвердила этот факт. Зачем? Зачем им накалять обстановку в отношении Носенко, если он “добровольно” перешел на их сторону? Нам же, работающим по спецслужбам США, было хорошо известно, что опертехнику в посольстве США обнаружила группа американских специалистов, проведшая в здании посольства кардинальную проверку, и этот эпизод произошел за месяц до выезда Носенко в злополучную командировку. Наконец, к нам в розыскной отдел поступили абсолютно надежные материалы, из которых устанавливалось, что Носенко, после “побега” в США, несколько лет просидел в одиночной камере карцерного типа. Глаза ему ослепляли постоянно направленным на него прожектором, применяли к нему различные препараты! И за что такие наказания понес перебежчик!? Думаю, что даже фашисты гуманней относились к людям, перешедшим к ним из другого лагеря! А нет ли тут аналогии с делом Юрченко?! Юрий Носенко может и был избалованным судьбой человеком. Отец его – бывший заместитель Председателя Совета Министров СССР. Поэтому все ему было дозволено и доступно. Бежать было незачем. Так думаю я – бывший детдомовец! В любом случае нужно более глубоко разбираться с судьбами людей. А работникам Управления кадров (любых, пожалуй, ведомств) не следует относиться к людям по принципу из “Горя от ума”: “Что скажет княгиня Мария Алексеевна?”».