Тяжелым испытанием для сотрудников Смерш стала работа по выявлению и разоблачению среди пленных военных преступников. Она потребовала от них не только высочайшего профессионализма, но и большого гражданского мужества. Оперативники и следователи в ходе очередной проверки или разработки вынуждены были вместе с палачами и их безвинными жертвами проходить все девять кругов фашистского ада.

В невзрачных томах оперативных и уголовных дел, в скупых строчках запросов и протоколов допросов, актах Чрезвычайной государственной комиссии по установлению и расследованию злодеяний немецко-фашистских захватчиков и их пособников было засвидетельствовано столько людского горя, страданий и слез, что их не вместило бы и самое большое море. Месяцами, а порой годами контрразведчики добывали доказательства их преступной деятельности.

В годы войны и послевоенный период органами Смерш во взаимодействии с другими управлениями органов безопасности было выявлено свыше 80 тысяч военных преступников. В отношении 37 тысяч в процессе совместной кропотливой проверки оперативных работников и следователей удалось добыть материалы, разоблачающие их преступную деятельность.

Эта работа во многом способствовала изобличению главных военных преступников нацистской Германии и милитаристской Японии, представших перед Международным военным трибуналом в Нюрнберге и Международным военным трибуналом для Дальнего Востока, а также привлечению к уголовной ответственности их сообщников по агрессии на судебных процессах в Японии, Финляндии, Румынии и других государствах.

В разоблачении главных военных преступников большую роль сыграли заявления военнопленных генералов бывшей гитлеровской армии, опубликованные в печати и переданные в распоряжение советских обвинителей. Этому способствовали и выступления на Нюрнбергском процессе фельдмаршала Паулюса, генералов Бушенхагена, фон Фалькенштейна, Краппе, генерал-майора медицинской службы вермахта профессора Шрейберга и др.

Давно уже отгремели последние залпы войны. В парадном строю по брусчатке Красной площади прошли советские маршалы, генералы, офицеры, солдаты и матросы — главные творцы Великой Победы. Многие из них вернулись к мирной жизни, которая так и не наступила для военных контрразведчиков. Они продолжали незримую войну с теми, кто совершал злодеяния на оккупированных территориях и оставил после себя глубоко законспирированную агентурную сеть, до весны 1950 г., когда закончилась репатриация военнопленных.

C первого дня войны органам военной контрразведки наряду с выявлением и ликвидацией шпионов, диверсантов и террористов, наводнивших ряды отступающей Красной армии, пришлось развернуть масштабную фильтрационную работу среди советских военнослужащих, вышедших из окружения и бежавших из фашистского плена.

В условиях непрерывных атак противника и постоянно меняющейся линии фронта, когда глубокий тыл внезапно становился передовой, а каналы связи с вышестоящими штабами оказывались в руках групп вражеских диверсантов, руководящему и оперативному составу военной контрразведки приходилось разворачивать фильтрационную работу прямо в «поле». В наспех отрытых землянках, в лесу под открытым небом или среди развалин они проводили опросы окруженцев, чтобы выявить среди них внедренную агентуру абвера.

В отсутствие стабильного и надежного негласного аппарата, централизованного банка данных на проверяемых лиц основным оружием контрразведчиков стали профессионализм и интуиция. Рискуя попасть на двурушника, они восстанавливали связь с войсковой агентурой, дополнительно приобретали новые источники информации среди окруженцев и тут же задействовали их в проверке военнослужащих, на которых поступала первичная информация, указывающая на возможную причастность к гитлеровским спецслужбам.

Летом — осенью 1941 г. только отделами военной контрразведки Западного фронта в результате фильтрационной работы среди вышедших из окружения бойцов и командиров Красной армии было выявлено свыше 1000 вражеских агентов. Одновременно десятки тысяч человек, пройдя проверку, пополнили ряды советских войск.

Так продолжалось до начала зимы 1941 г. Затем напряженность и интенсивность фильтрационной работы спали в связи со стабилизацией положения на фронтах.

После победы Красной армии под Сталинградом и начала широкомасштабного наступления советских войск на Северном Кавказе она стала непрерывно нарастать.

Весной 1943 г., к моменту образования Смерш, в структуре органов военной контрразведки сложилась устойчивая и эффективно действующая система фильтрации среди бывших советских военнослужащих и граждан, угнанных на принудительные работы в Германию. Организатором и координатором этой работы выступал 2-й отдел ГУКР НКО Смерш (руководитель — полковник С. Карташов). В боевых порядках советских войск ее осуществляли третьи отделения вторых отделов управлений Смерш фронта, и завершалась фильтрация в лагерях НКВД.

Первичная проверка бывших советских военнослужащих и граждан, находившихся на принудительных работах в Германии, а также лиц из числа русской эмиграции проводилась на армейских сборно-пересыльных пунктах (СПП) и фронтовых проверочно-фильтрационных пунктах (ПФП). Их число не было постоянным и колебалось в зависимости от обстановки на фронтах и количества поступающего так называемого спецконтингента. Так, весной 1943 г., во время наступления Красной армии на Северном Кавказе, существовало всего два СПП. В мае 1945 г. только на одном 3-м Украинском фронте их действовало десять.

Армейские СПП и фронтовые ПФП не имели строго определенного штата руководящего и оперативного состава. Они формировались, исходя из обстановки. Работа на них проводилась последовательно. На первом этапе основные усилия контрразведчиков были сосредоточены на выявлении лиц, связанных с иностранными спецслужбами, причастных к совершению военных преступлений, запятнавших себя сотрудничеством с оккупантами. На каждое проверяемое лицо открывалось фильтрационное (учетное) дело, в котором содержались протоколы опроса (допроса) и заключение по результатам фильтрации. В отношении подозреваемых во враждебной деятельности заводилось дело-формуляр. В него помимо анкетных данных и опросных листов приобщались материалы оперативного характера. После завершения проверки на СПП и ПФП подавляющая часть лиц, прошедших фильтрацию, направлялись в части Красной армии.

Так, с 1 февраля по 4 мая 1945 г. на десяти СПП Управлением Смерш 3-го Украинского было проверено в общей сложности 58 686 человек. Из них 16 456 — бывшие военнослужащие Красной армии и 12 160 советских граждан призывного возраста, находившихся на принудительных работах в Германии. По результатам фильтрации 24 324 человека призвали в армию через полевые военкоматы. 1117 граждан других государств, на которых отсутствовали компрометирующие данные, репатриировали на родину, а 17 361 человек, не подлежавших призыву в армию, возвратились к себе домой. Остальные временно использовались на различных работах.

Оставшиеся 378, не прошедшие через фильтрационное «сито» Смерш и на которых поступили данные, указывающие на их связь с иностранными спецслужбами, запятнавшие себя службой в так называемой Русской освободительной армии (РОА) изменника генерала А. Власова и причастные к воинским преступлениям были взяты в активную оперативную разработку.