После того как за пределы ГПУ вывели часть особо запятнавших себя в 1918–1921 годах в репрессиях или в неподчинении начальству «вольных альбатросов» из ЧК, серьезно взялись и за оставшихся. Первые же приговоры преступившим грань уже советского закона чекистам из ГПУ в начале и середине 20-х годов показали, что карать за самовольные расстрелы или выпуск за взятку арестованных из ЧК двумя-тремя годами условно или лишением звания чекиста, как это случалось в 1918–1919 годах, больше не будут. Например, уже в 1922 году расстрелян сотрудник ГПУ Зайцев, прослуживший в ЧК всю Гражданскую, за получение взятки для прекращения дела о шпионаже. В том же году только за ложный донос (сколько их было в Гражданскую) сотрудник Казанского ГПУ Иванов также расстрелян во внесудебном порядке, а всего за 1922 год расстреляно по стране более 20 кадровых сотрудников ГПУ. Сотрудник особого отдела ГПУ Шланак из особистов 4-й армии РККА продавал чекистские мандаты и пропуска уголовникам и спекулянтам в Крыму, где эта армия была расквартирована, – его показательно расстреляли, изложив его историю в газете «Красный Крым».

По справке начальника Украинского ГПУ Балицкого видно, что за 1922 год по его приказу отданы под суд и расстреляны 9 подчиненных ему чекистов, вина которых колебалась от элементарных взяток (Самойлов, Володин, Брейтман) и изнасилований арестованных (Гончаров) до таких серьезных обвинений, как выявленная работа на контрразведку белых в годы войны (Прусиновский) или раскрытие в пьяном виде конспиративной квартиры ЧК (Котляров). В следующем, 1923 году за тайные связи с контрреволюционерами впервые в молодой внешней разведке ГПУ расстрелян сотрудник ИНО ГПУ Свистунов. В 1924 году за связь с монархистами расстреляны сотрудник ГПУ Котельников и бывший царский офицер Поливанов, служивший в ГПУ Витебска.

Кроме 20 расстрелянных в рядах ГПУ только за первый 1922 год его существования увеличилось количество и осужденных на различные тюремные сроки. Так в особом, так называемым «внесудебном», порядке ГПУ вынесен приговор в отношении бывших сотрудников Анохина и Данилова, вызвавший тогда вопросы даже у главного советского обвинителя Крыленко – тогда еще заместителя наркома юстиции РСФСР. Только за раскрытие конспиративных методов работы Анохин получил от ГПУ три года тюремного заключения, а его коллега Данилов – год. В итоге приговор своим бывшим сотрудникам ГПУ отстояло. Узнав, что дело арестованного сотрудника ГПУ Бородулькина передано вместо особого совещания ГПУ в обычный народный суд, Дзержинский возмутился и добился через Наркомат юстиции возвращения дела для разбирательства в свою службу.

Само руководство ГПУ становится часто более бескомпромиссно к своим преступившим закон сотрудникам, все реже учитывая даже прошлые заслуги в ЧК, молодость или преданность делу революции. В январе 1923 года лично председатель ГПУ Дзержинский обращается во ВЦИК к Сапронову, когда ВЦИК до нового разбирательства приостановлено дело по бывшим сотрудникам ГПУ Гельфману и Свярковскому, уже осужденным в упрощенном порядке ГПУ к смертной казни. Дзержинский пишет во ВЦИК, что дело ему хорошо известно в деталях и никаких причин для отмены смертного приговора чекистам-отступникам он не видит. Что Гельфман и Свярковский запятнали звание чекиста уголовными преступлениями и прямой изменой советской власти, а «оперуполномоченный Петроградского ГПУ Болеслав Свярковский параллельно с кассационной жалобой на приговор во ВЦИК тайно связывался с членами польской делегации о заступничестве за него, как за поляка, и обмене его на пленных». В годы Гражданской войны руководство ВЧК чаще ходатайствовало перед высшей советской властью о смягчении участи низвергнутого из ЧК товарища.

Позднее пошли в основном расстрелы чекистов только за откровенную измену в виде работы на чужую разведку или тайную связь с антисоветским подпольем либо эмиграцией, сюда же добавим и расстрелянных за связи с оппозиционными фракциями в самой большевистской партии. Так в результате довольно темной истории в 1926 году за связь с белой эмиграцией арестован и расстрелян сотрудник Донецкого ГПУ Варшавский.

Не обошла эта кампания наведения порядка среди чекистов и многих деятелей прошлой ЧК, имевших бесспорные заслуги перед революцией и защищавших советскую власть в годы Гражданской войны. По такому делу о «красном бандитизме» в 1922 году в Томске осудили тайную организацию бывших партизан, собиравшихся террором бороться за возвращение истинной революции, убивать бывших офицеров царской армии и чиновников, невзирая на их службу Советам, а заодно и «всяких интеллигентов» и «забюрократившихся членов РКП(б)». Организатором этой группы стал действующий сотрудник Томского ГПУ Маслов.

Строже стало отношение и к не политическим шалостям в чекистских рядах, а к коррупции, бытовому разложению или пьянству. На середину 20-х годов приходится приказ заместителя начальника ГПУ Генриха Ягоды о борьбе с пьянством в рядах ГПУ. По словам Ягоды, ситуация с пьянством среди чекистов становилась заметна уже и партийным верхам, особенно досталось за потакание этому пороку сотрудников главному тогдашнему чекисту по Сибири Павлуновскому: «Пьянство вошло в обычное явление, пьянствуют даже с проститутками, о пьянках нашего аппарата известно уже и в Москве. Непьющего товарища начинают избегать. А отдельные товарищи начинают делиться с женами о секретной работе – в результате едут на Соловки». В результате этой первой антиалкогольной кампании в истории спецслужб нашей страны в ГПУ прошли очередные чистки с арестами. В 1926 году начальник Бийского отдела ГПУ в Сибири Вольфрам за систематическое пьянство и финансовые злоупотребления осужден на три года лагерей.

В Одесском ГПУ обнаружили смычку многих руководителей с сильным здесь блатным миром: за взятки блатарей выпускали из тюрьмы и даже выписывали им поддельные ордера ГПУ на обыск, с которыми налетчики грабили под видом чекистов местных нэпманов. Ряд чекистов под началом командира Одесского угрозыска Левитина в те годы вообще создали банду оборотней в кожанках, заманивая на конспиративные квартиры подпольных дельцов, арестовывая их там и затем за крупное вознаграждение выпуская на свободу. Когда все это было раскрыто, а в Одессу ввиду важности дела даже лично выезжал начальник Украинского ГПУ Балицкий – с должности был снят герой подполья Одессы в Гражданскую войну и заместитель начальника Одесского ГПУ Александр Эйнгорн, его отправили для перевоспитания с понижением в ГПУ Ташкента. С началом Большого террора бывшего красного подпольщика и чекиста Эйнгрона родные спецслужбы будут «перевоспитывать» еще и пятнадцатью годами лагерей.

В 1923 году бывший знаменитый пермский чекист Гавриил Мясников, имевший перед советской властью такие «заслуги», как убийства священников и тайная ликвидация великого князя Михаила Романова, только за вхождение в «Рабочую оппозицию» в партии будет сначала выслан из СССР. Затем по личному указанию Дзержинского обманом амнистии он вызван вновь в Москву, арестован и брошен в тюрьму (еще позднее все это для Мясникова закончится смертной казнью). Власть ясно давала понять боевому активу своей спецслужбы, что время лихой самодеятельности, закрытых глаз на шалости самих чекистов, время «красного бандитизма», каких-то пусть даже самых «рабочих» оппозиционных групп в партии ушло в историю вслед за Гражданской войной. А кто этого не понял – никакие заслуги и звание почетного чекиста не спасут от суровой кары. Позднее под каток репрессий уже в Большой террор конца 30-х годов попадет и будет расстрелян и видный партиец из деятелей «Рабочей оппозиции» Генрих Бруно, в Гражданскую войну занимавший высокие должности в ЧК на фронте.