Однако 1937–1938 годы стали поистине черными и для внешнеполитической, и для военной разведки СССР. Так, с июля по октябрь 1937 года были арестованы 43 сотрудника разведывательных органов, в следующие два месяца более 50 руководителей ГРУ были сняты со своих должностей. Судьба многих выдающихся советских разведчиков сложилась трагически. Были расстреляны А. Х. Артузов (в особом порядке за участие в контрреволюционной заговорщицкой организации внутри НКВД), Э. П. Берзин (за измену Родине, подрыв государственной промышленности, совершение террористических актов, организационную деятельность, направленную на свержение существующего строя) и многие другие должностные лица из центрального аппарата и на периферии. Отзывались и репрессировались руководители легальных и нелегальных резидентур, особенно если в их прошлом имелись какие-либо свидетельства о контактах с троцкистами, зиновьевцами, бухаринцами и другими «врагами народа».

Лишь немногим удалось чудом избежать репрессий. Среди них был исключительно смелый разведчик А. М. Коротков, ставший впоследствии руководителем нелегальной разведки и генерал-майором. В 1939 году он был уволен из органов, но после письма на имя Л. П. Берии восстановлен на службе. В августе 1940 года Коротков был назначен третьим секретарем полпредства СССР в Германии и выполнял там функции заместителя резидента легальной резидентуры. В первые дни войны здание советского представительства было блокировано гестапо, но Александр Коротков, рискуя жизнью, сумел несколько раз выехать в город для проведения встреч с агентурой и передачи радиостанции для связи с Центром.

Начальник военной разведки И. И. Проскуров в начале 1940 года докладывал Сталину, что за «последние два года чистки разведорганов от чуждых и враждебных элементов» были арестованы свыше 200 человек, «заменен весь руководящий состав до начальников отделов включительно. Только из центрального аппарата и подчиненных ему частей отчислено по различным политическим причинам и деловым соображениям 365 человек. Принято вновь 326 человек, абсолютное большинство из которых без разведывательной подготовки».

Репрессии нанесли этим службам, да и всей стране в целом невосполнимый ущерб. В результате арестов и ликвидации наиболее подготовленных и профессиональных сотрудников получение важнейшей военной, военно-политической, научно-технической информации было сорвано. Кадровый состав советских резидентур за рубежом резко сократился. Связь со многими источниками, в том числе в иностранных спецслужбах, внешнеполитических ведомствах, дипломатических представительствах, была утрачена.

Таким образом, создаваемая с середины 1920-х годов А. Х. Артузовым, М. С. Урицким, Э. П. Берзиным разветвленная разведывательная сеть по всему миру оказалась под угрозой. Все это привело к тому, что в течение нескольких месяцев накануне войны высшее руководство страны в принципе не получало разведывательных данных. Считается, что не была получена, например, упреждающая информация о готовящемся аншлюсе Австрии, Мюнхенском сговоре Англии, Франции, Италии и Германии о разделе Чехословакии и присоединении Судетской области к Третьему рейху.

В этих условиях нужно было срочно создавать новую разведку, на что требовались значительные силы и время. Пришедшие на смену репрессированным сотрудникам молодые разведчики из-за отсутствия практических навыков и необходимого опыта просто не были способны за короткий срок полностью воссоздать разрушенное. В этом, конечно же, нет их вины. Тем не менее связь с некоторыми важнейшими агентами снова удалось установить, проводилась работа по формированию новых резидентур и поиску источников информации. В некоторой степени укрепился кадровый состав зарубежных точек.

Однако все же можно говорить лишь о частичном восстановлении работоспособности разведки. К. Е. Ворошилов на пленуме ЦК ВКП(б) 28 марта 1940 года сказал следующее:

Сегодня уже стало традиционным мнение, что к началу Великой Отечественной войны руководство СССР и верховное командование РККА допустили ряд серьезных ошибок, которые привели к катастрофе в первые дни боевых действий. Якобы Сталин не доверял или не хотел верить данным разведки, что и стало его самым главным просчетом.

Но такое представление о событиях первоначального этапа войны слишком упрощенное. Разведывательных сообщений о том, что Германия развяжет войну против СССР в первой половине 1941 года, поступило не менее сотни, но информация, в частности о точной дате начала войны, зачастую носила действительно противоречивый характер. Имела место и недооценка военного потенциала Германии руководством военной и внешней разведки.

Как уже было сказано, руководство страны неоднократно пыталось найти оптимальные формы организации работы структур разведки. В 1939 году разведывательное управление РККА трансформировалось в Пятое управление Народного комиссариата обороны СССР. В 1940-м было отдано в подчинение Генеральному штабу и, соответственно, стало называться Разведывательным управлением Генерального штаба Красной армии. И только в феврале 1942 года появилась общеизвестная аббревиатура ГРУ. Военная разведка была реорганизована в Главное разведывательное управление Генштаба, а в ее составе созданы два управления (агентурное и информационное), а также несколько самостоятельных отделов.

В октябре 1942-го ГРУ было переподчинено исключительно наркому обороны. В задачи главного управления входила организация агентурной и разведывательно-диверсионной работы как на территории иностранных государств, так и на оккупированных советских территориях.

Кроме того, в Генеральном штабе было создано Управление войсковой разведки, но оперативно-агентурная работа выходила за рамки компетенции этой структуры.

А 19 апреля 1943 года из особых отделов НКВД, занимавшихся противодействием массированной заброске агентуры спецслужб противника, было создано легендарное управление военной контрразведки СМЕРШ. К моменту образования контрразведки инициатива в ведении военных действий стала постепенно переходить к войскам РККА, в копилке наших войск была позади битва под Сталинградом.

Считается, что название этой спецслужбе дал сам Сталин. Вначале это подразделение предлагалось назвать СМЕРНЕШ (то есть «смерть немецким шпионам»), на что Сталин заявил, что на советской территории полно шпионов и из других государств, с которыми также необходимо вести борьбу. Поэтому официальным наименованием нового органа стало управление контрразведки СМЕРШ НКВД СССР. Документов, подтверждающих историю этого названия, на данный момент не имеется. Тем не менее такая легенда существует.