На втором шаге робот должен оценить последствия применения оружия, пользуясь тестом пропорциональности. Нравственный регулятор количественно определяет множество критериев, таких как вероятность эффективного поражения цели в военном отношении, возможность поражения гражданских лиц или гражданских объектов, основанных на технических данных.

Затем робот использует алгоритм, который объединяет статистические данные с поступающей информацией, чтобы прагматически оценить необходимость применения оружия. Робот может начать стрелять только тогда, когда он находит, что применение оружия удовлетворяет всем этическим ограничениям и минимизирует сопутствующий ущерб относительно военной необходимости уничтожения цели.

Аркин утверждает, что с нравственным регулятором полностью автономное оружие было бы в состоянии выполнить международное гуманитарное право лучше, чем люди. Например, оно могло бы получать больше информации и обработать ее быстрее, чем люди. Робот не может применить оружие под влиянием гнева или страха. Робот мог бы контролировать этическое поведение своих человеческих коллег-солдат. В то же время оптимистичный Аркин признает, что еще преждевременно определять, возможна ли реализация этого механизма в полностью автономном оружии.

3.2.2. «Сильный» искусственный интеллект

Другой, еще более амбициозный подход: автономные роботы будут соблюдать гуманитарные законы, потому что будут иметь разум, сравнимый (а, может, и превышающий) человеческий разум. Министерство обороны США определяет роботов с «сильным (истинным) искусственным интеллектом» как роботов с «подобной или большей способностью думать как человек». Защитники концепции разработки автоматизированного оружия с «сильным» искусственным интеллектом считают, что использование роботов, управляемых «сильным» искусственным интеллектом, на поле битвы приведет к меньшему количеству разрушений, станет «воспитывающей силой» во время войны и поможет цивилизации в ее борьбе против терроризма.

У таких роботов «вычислительная мощность компьютера приблизится к познавательной способности человеческого мозга». Но многие эксперты полагают, что это предложение может быть больше желаемым, чем реализуемым в действительности. Даже если бы разработка полностью автономного оружия с подобным человеку разумом стала бы возможной, у роботов отсутствовали бы некоторые человеческие качества, такие как сострадание и способность понять людей.

Согласно статье 36 Дополнительного протокола I к Женевской конвенции государства должны разрабатывать новое и модернизировать существующее оружие в соответствии с международным правом. Системы автоматизированных вооружений даже с участием человека в процессе управления должны подвергаться международному контролю.

Международный комитет Красного Креста выдвинул на первый план автономное оружие как проблемную область. Относительно статьи 36 Международный комитет написал: «Использование оружия дистанционного управления на больших расстояниях или оружия с датчиками обнаружения живых целей приводит к автоматизации поля битвы, в котором солдат играет все менее важную роль. И страшно подумать, что может случиться, если полностью автономное оружие будет действовать только по своему усмотрению. Ведь в самой совершенной компьютерной программе может быть сбой. Контроль необходим еще потому, что любую «не опасную» беспилотную систему легко вооружить, как это произошло с американским дроном Predator.

Чтобы соответствовать международному гуманитарному праву, полностью автономное оружие нуждалось бы в человеческих качествах, в которых оно «врожденно» испытывает недостаток. В частности, у таких роботов не было бы способности почувствовать и понять намерения людей. Кроме того, многих людей мысль о роботах, принимающих жизненно важные решения, находящиеся ранее в компетенции людей, приводит в ужас. Развитие автономного оружия должно быть остановлено прежде, чем оно достигнет этапа, когда люди будут полностью удалены от цепочки принятия решений.

Полностью автономное оружие сделает развязывание военных действий легче и значительно увеличит урон гражданским лицам во время военных действий. Оно неспособно выполнять основные принципы международного гуманитарного права. Оно подрывает другие, неюридические гарантии, которые защищают гражданские лица во время военных действий. Хотя полностью автономного оружия еще не существует, военная технология быстро развивается в этом направлении. И появление полностью автономного оружия (роботов-убийц) возможно в течение ближайших десятилетий.

Поэтому, прежде чем это станет свершившимся фактом, государства и ученые должны принять срочные меры, чтобы рассмотреть и отрегулировать развитие военной технологии, связанной с автономией роботов. В частности, государства должны запретить создание оружия, у которого есть полная автономия, которое само будет решать, когда применить оружие.

Авторы доклада рекомендуют:

Всем государствам:

• Запретить разработку, производство и использование полностью автономного оружия через международный всеми признанный юридический документ.

• Принять внутригосударственные законы, запрещающие разработку, производство и использование полностью автономного оружия.

• Начать мониторинг технологий, которые могут привести к полностью автономному оружию. Мониторинг должен иметь место в самом начале процесса разработки и продолжаться по фазам разработки и тестирования автоматизированного оружия и оружия с частичной автономией.

Робототехникам и другим лицам, вовлеченным в разработку автоматизированного оружия:

• Установить профессиональные нормы поведения, управляющие научными исследованиями в области автономного оружия.

Такие нормы поведения могут помочь гарантировать, что научные исследования в области автономного оружия развиваются в соответствии с международным гуманитарным правом, которое защищает гражданские лица в вооруженном конфликте. Академические и научные ассоциации могли бы спроектировать и распространить такой кодекс норм поведения. Нормы поведения для военного технического прогресса уже существуют в областях синтетической биологии и нанотехнологии.

Представленные в сборнике материалы убедительно свидетельствуют, что боевые, логистические, разведывательные, иные интеллектуальные роботы и автономные системы, находящиеся в распоряжении военных, и в особенности террористов и преступников, порождают все возрастающие риски и угрозы России, ее народу и отдельным гражданам.

Однако все обстоит не так плохо, как представляется. На самом деле все гораздо хуже. Риски и угрозы со стороны автономных интеллектуальных систем и роботов невозможно понять вне контекста Четвертой производственной революции. Сегодня становится ясно, что именно роботы являются интегрированным технопакетом, который объединяет все основные направления Четвертой производственной революции. В самом деле, сегодняшние интеллектуальные военные и гражданские роботы невозможны без информационных технологий, Больших Данных, новых материалов, нанотехнологий, искусственного интеллекта и глубокого машинного обучения. В ближайшие годы ждут появления антропоморфных роботов, где металлические и полимерные детали будут соединены с биологическими фрагментами, полученными на основе достижений синтетической биологии и биоинформатики.