Неудивительно, что разведывательные органы оценили потенциал использования ИИ в своей работе. Долгие годы они применяли простые формы ИИ-технологии, в том числе распознавание голоса и идентификацию ключевых слов и фраз в устной и письменной речи. ИИ-системы все более способны понимать содержание того, что говорят и делают люди, будь то в ходе отслеживания разговоров, текстов или видеоизображения. В странах, где эта технология будет служить задаче контроля, возникнет такая же ситуация, как если бы к каждому гражданину был приставлен личный соглядатай из Штази, следящий за ним 24 часа в сутки[145].

Даже в гражданской сфере в относительно демократических странах за людьми ведется все более эффективное наблюдение. Корпорации собирают и продают информацию о наших покупках, пользовании интернетом, социальными сетями и электробытовыми приборами, звонках и текстовых сообщениях, трудовой занятости и здоровье. Наше местоположение можно отследить по мобильному телефону и автомобилю, имеющему выход в интернет. Уличные видеокамеры распознают наши лица. Все эти и многие другие данные можно собрать воедино с помощью интеллектуальных информационных систем и получить весьма полную картину того, что каждый из нас делает, как живет, кого любит и кого не любит и за кого станет голосовать[146]. По сравнению с этим Штази выглядят жалкими любителями.

Управление вашим поведением

Когда возможности слежки реализованы, следующий шаг — изменить ваше поведение так, как нужно тем, кто использует эту технологию. Одним из методов, довольно грубым, является автоматизированное персонализированное вымогательство. Система, понимающая, что вы делаете, — прослушивающая, читающая или наблюдающая за вами визуально — легко заметит, что вы заняты чем-то таким, чего не следовало бы делать. После этого она вступит с вами в переписку и попытается вытрясти из вас как можно больше денег (или принудить вас к определенному действию, если целью является политический контроль или шпионаж). Получение денег служит идеальным вознаграждающим сигналом, подкреплением для обучающегося алгоритма, и следует полагать, что ИИ-системы будут быстро наращивать возможность идентифицировать ненадлежащее поведение и извлекать из него выгоду. Еще в 2015 г. в разговоре со специалистом по компьютерной безопасности я предположил, что скоро можно будет создать автоматизированные системы вымогательства на основе обучения с подкреплением. Он рассмеялся и ответил, что это уже произошло. Первый бот-вымогатель, о котором много говорили, — «Делайла», обнаруженный в 2016 г.[147]

Более тонкий способ менять поведение людей состоит в изменении их информационного окружения, так, чтобы они приобрели другие убеждения и принимали иные решения. Рекламодатели делают это не одно столетие, меняя покупательское поведение индивидов. Пропаганда как средство войны и политического господства имеет еще более долгую историю.

Что же изменилось? Во-первых, поскольку ИИ-системы способны отслеживать онлайновые читательские привычки, предпочтения и вероятный уровень знаний индивида, они могут подгонять конкретные сообщения под эти особенности, максимизируя воздействие на человека и сводя к минимуму риск, что информации не поверят. Во-вторых, система ИИ знает, читает ли индивид сообщение, сколько времени на это тратит и переходит ли по дополнительным ссылкам внутри сообщения. Затем она использует эти сигналы как моментальную обратную связь об успехе или неудаче своей попытки повлиять на каждого индивида. Таким образом, она быстро становится более эффективной в решении своей задачи. Именно так алгоритмы выбора контента в социальных сетях исподволь повлияли на политические убеждения.

Еще одно современное достижение, сочетание ИИ, компьютерной графики и синтеза речи, позволяет создавать дипфейки (наглое вранье) — реалистичный видео- и аудиоконтент, в котором практически любой человек может говорить и делать практически все что угодно. Технология требует немногим больше, чем словесное описание желаемого события, так что воспользоваться ею сможет практически любой. Сделанное на мобильный телефон видео с сенатором Х, принимающим взятку торговца кокаином Y, продвигающего сомнительное начинание Z? Легко! Подобный контент может создавать непоколебимую веру в никогда не происходившие события[148]. Кроме того, ИИ-системы способны продуцировать миллионы ложных идентичностей — так называемые армии ботов, ежедневно выдающих миллиарды комментариев, твитов и рекомендаций, и попытки обычных людей обмениваться надежной информацией утонут в этом потоке. Такие онлайновые торговые площадки, как eBay, Taobao и Amazon, обеспечивающие доверие между покупателями и продавцами при помощи систем репутаций[149], постоянно воюют с армиями ботов, создаваемыми для разрушения этих рынков.

Наконец, методы контроля могут быть прямыми, если правительство способно ввести системы поощрения и наказания на основе поведения. Такая система рассматривает людей как алгоритмы обучения с подкреплением, натаскивая их на оптимизацию достижения цели, установленной го сударством. Государству, особенно построенному на принципе вертикальной социальной инженерии, соблазнительно рассуждать следующим образом: для каждого было бы лучше вести себя хорошо, быть патриотом и способствовать прогрессу своей страны; технология позволяет измерять поведение индивида, его взгляды и вклад в общее дело; следовательно, все только выиграют, если создать технологичную систему мониторинга и контроля, основанную на поощрении и наказании.

Подобная логическая цепочка имеет ряд недостатков. Во-первых, она игнорирует психологические издержки жизни в системе навязанного мониторинга и принуждения. Внешняя гармония, прикрывающая внутреннюю несчастность, едва ли является идеалом. Любое проявление доброты перестает быть проявлением доброты и становится действием по максимизации личного рейтинга и соответственно воспринимается адресатом. Что еще хуже, сама идея проявления альтруизма постепенно превращается в смутное воспоминание о чем-то, что когда-то было нормой. При такой системе, навещая друга в больнице, совершаешь поступок, имеющий не больше нравственного значения и эмоциональной ценности, чем если останавливаешься на красный свет. Во-вторых, эта схема подвержена той же ошибке, что и стандартная модель ИИ, а именно, она предполагает, что заявленная цель действительно является истинной, глубинной целью. Неизбежно восторжествует закон Гудхарта, и индивиды начнут оптимизировать официальные параметры внешнего поведения, как университеты научились оптимизировать «объективные» показатели «качества» из систем университетских рейтингов, вместо того чтобы повышать настоящее (но неизмеряемое) качество[150]. Наконец, введение единого параметра добродетельности упускает из виду то, что успешное общество может объединять очень разных индивидов, каждый из которых вносит в него уникальный вклад.