Некоторые, в том числе Ник Бостром, предложили использовать собственные полезные сверхинтеллектуальные ИИ-системы для обнаружения и уничтожения любых вредоносных или любым образом неправильно ведущих себя ИИ-систем. Безусловно, нам нужно будет использовать все доступные средства, в то же время сводя к минимуму влияние на личную свободу, но образы людей, теснящихся в бункерах, беспомощных против титанических сил, высвобожденных взбунтовавшимся сверхразумом, мало утешают, даже если часть этих сил на нашей стороне. Было бы намного лучше найти способы задавить вредоносный ИИ в зародыше.

Правильным первым шагом стала бы успешная, скоординированная международная кампания против киберпреступлений, включающая расширение Будапештской конвенции о киберпреступности. Тогда была бы сформирована организационная схема возможных будущих мероприятий по предупреждению появления неконтролируемых ИИ-программ. В то же время потребуется широкое взаимодействие культур по вопросу о том, что создание таких программ, намеренное или случайное, является в долгосрочной перспективе самоубийственным поступком, сопоставимым с созданием возбудителей пандемий.

Самые известные романы Э. М. Форстера, в том числе «Говардс Энд» и «Поездка в Индию», исследовали британское общество и его классовую систему первой половины XX в. В 1909 г. он написал примечательную научно-фантастическую повесть «Машина останавливается». Повесть поражает предвидением: в ней мы видим то, что сегодня называем интернетом, видеоконференциями, iPad, массовыми открытыми дистанционными курсами (МООК), а также массовое ожирение и избегание личных контактов. Машина, упомянутая в заглавии, — это всеобъемлющая интеллектуальная инфраструктура, удовлетворяющая все потребности людей. Люди все больше зависят от нее, но все хуже понимают, как она работает. Инженерное знание уступает место обрядовым заклинаниям, в конечном счете не способным остановить постепенное ухудшение работы Машины. Главный герой, Куно, видит, что всех ждет, но бессилен это остановить[335]:

На Земле жило свыше 100 млрд человек. Они (мы) затратили порядка 1 трлн человеко-лет на приобретение и передачу знания, чтобы наша цивилизация могла существовать. До сих пор единственной возможностью ее выживания являлось воссоздание знания в умах новых поколений. (Бумага — прекрасный способ передачи, но она не делает ничего, пока знание, записанное на ней, не будет постигнуто разумом другого человека.) Теперь мир меняется: все в большей мере становится возможным помещать наше знание в машины, которые самостоятельно могут поддерживать нашу цивилизацию для нас.

С исчезновением практического стимула передачи нашей цивилизации следующему поколению станет очень трудно обратить процесс вспять. Триллион лет суммарного обучения окажется, буквально, потерянным. Мы превратимся в пассажиров прогулочного лайнера, управляемого машинами, в круизе, который продолжается вечно, — в точном соответствии с предвидением мультфильма «ВАЛЛ-И».

Убежденный консеквенциалист скажет: «Очевидно, это нежелательное последствие чрезмерной автоматизации! Правильно сконструированные машины никогда этого не сделают!» Верно, но вдумайтесь, что это означает. Машины могут хорошо понимать, что автономия и компетенция человека — это важные аспекты того, как мы предпочитаем проводить свою жизнь. Они могут добросовестно настаивать, чтобы люди сохраняли контроль над собственным благополучием и ответственность за него, — иными словами, машины скажут «нет». Однако мы, близорукие, ленивые люди, необязательно с ними согласимся. Это пример трагедии общих ресурсов в действии: каждому отдельному человеку, возможно, покажется бессмысленным тратить долгие годы самоотверженной учебы на приобретение знаний и навыков, которыми машины уже владеют, но если все будут думать так, человечество коллективно утратит автономию.

Решение этой проблемы, как представляется, носит культурный, а не технический характер. Нам понадобится движение в сторону переформирования наших идеалов и предпочтений в направлении автономии, способности к деятельности и знаниям, прочь от сибаритства и зависимости — если хотите, современная, окультуренная версия воинского идеала древних спартанцев. Это будет означать конструирование человеческих предпочтений во всемирном масштабе наряду с радикальными изменениями в том, как функционирует наше общество. Чтобы не ухудшить плохую ситуацию, нам может потребоваться помощь сверхинтеллектуальных машин, как в оформлении решений, так и в реальном процессе обретения равновесия каждым индивидом.

Любому родителю маленького ребенка знаком этот процесс. Когда ребенок проходит стадию беспомощности, выполнение родительских обязанностей требует постоянно меняющегося равновесия между полюсами: делать для ребенка все и целиком или полностью предоставить его самому себе. На определенном этапе ребенок начинает понимать, что родитель прекрасно может завязать ему шнурки, но сознательно не делает этого. Это ли будущее человеческой расы — вечно находиться на положении ребенка, на попечении совершенных машин? Думаю, нет. Хотя бы потому, что дети не могут выключить своих родителей. (Слава богу!) В нашем современном мире в действительности нет аналога отношениям, которые сложатся у нас в будущем с полезными интеллектуальными машинами. Нам еще предстоит узнать, чем закончится игра.

Выбор действия на основе прогноза будущего и оценки результатов возможных последовательностей действий — фундаментальная способность интеллектуальных систем. Ваш сотовый телефон делает это всякий раз, как вы спрашиваете у него, в каком направлении двигаться. На рис. 14 приведен типичный пример: как попасть из текущего местоположения, 19-й пирс, в целевое, Койт-Тауэр. Алгоритм должен знать, какие действия ему доступны; в случае навигации по карте, как правило, каждое действие связано с фрагментом дороги, соединяющим два соседних перекрестка. В данном примере у 19-го пирса доступно лишь одно действие: повернуть направо и ехать по Эмбаркадеро до следующего перекрестка. Затем имеется выбор: продолжить движение или резко повернуть налево на Бэттери-стрит. Алгоритм последовательно исследует все эти возможности, пока не находит маршрут. Обычно мы добавляем некоторые указания, исходя из здравого смысла, например предпочтение улиц, ведущих прямо к цели, а не в сторону от нее. Благодаря этим указаниям и еще нескольким хитростям алгоритм очень быстро находит оптимальное решение — обычно за несколько миллисекунд, даже в случае поездки по сложным маршрутам.