По этим причинам крайне маловероятно, чтобы сообщество по изучению ИИ — или правительства и корпорации, контролирующие законы и исследовательские бюджеты, — откликнулись на «проблему гориллы», запретив прогресс в области ИИ. Если «проблему гориллы» можно решить только так, она не будет решена.

Единственный подход, который, вероятно, сработает, — это понять, что плохого несет в себе создание более совершенного ИИ. Оказывается, мы знаем ответ уже несколько тысячелетий.

Норберт Винер, с которым мы познакомились в главе 1, оказал громадное влияние на многие сферы, включая теорию ИИ, когнитивные науки и теорию управления. В отличие от большинства своих современников, он был серьезно обеспокоен непредсказуемостью комплексных систем, действующих в реальном мире. (Он написал первую статью на эту тему в десятилетнем возрасте.) Винер пришел к убеждению, что неоправданная уверенность ученых и инженеров в своей способности контролировать собственные творения, будь то военного или гражданского назначения, может иметь катастрофические последствия.

В 1950 г. Винер опубликовал книгу «Человеческое использование человеческих существ»[189], аннотация на обложке которой гласит: «„Механический мозг“ и подобные машины могут уничтожить человеческие ценности или дать нам возможность реализовать их как никогда прежде»[190]. Он постепенно шлифовал свои идеи и к 1960 г. выделил основную проблему — невозможность правильно и исчерпывающе определить истинное предназначение человека. Это, в свою очередь, означает, что упомянутая выше стандартная модель — когда люди пытаются наделить машины собственными целями — обречена на неудачу.

Мы можем назвать эту идею «проблемой царя Мидаса». Царь Мидас, персонаж древнегреческой мифологии, получил буквально то, о чем просил, — а именно, чтобы все, к чему он прикасается, превращалось в золото. Он слишком поздно понял, что это также относится к его пище, питью и членам семьи, и умер от голода в полном отчаянии. Эта тема присутствует повсеместно в мифах человечества. Винер цитирует отрывки из сказки Гёте об ученике чародея, который заколдовал помело, заставив его ходить по воду, но не сказал, сколько нужно принести воды, и не знал, как заставить помело остановиться.

Если выразить эту мысль применительно к нашей теме, мы рискуем потерпеть неудачу при согласовании ценностей — возможно, непреднамеренно поставить перед машинами задачи, противоречащие нашим собственным. Вплоть до недавнего времени нас защищали от возможных катастрофических последствий ограниченные возможности интеллектуальных машин и пределы их влияния на мир. (Действительно, большая часть работы над ИИ делалась на модельных задачах в исследовательских лабораториях.) Как указывает Норберт Винер в своей книге «Бог и Голем», изданной в 1964 г.[191]:

К сожалению, этот период защищенности быстро подходит к концу.

Мы уже видели, как алгоритмы выбора контента в социальных сетях ради максимальной отдачи от рекламы вызвали хаос в обществе. Если вы считаете максимизацию отдачи от рекламы низкой целью, которой никто не будет добиваться, давайте представим, что поставили перед сверхинтеллектуальной системой будущего высокую цель найти лекарство от рака — в идеале как можно быстрее, потому что каждые 3,5 секунды от рака умирает человек. За считаные часы ИИ-система прочитала всю литературу по биомедицине и рассмотрела миллионы потенциально эффективных, но не протестированных ранее химических соединений. За несколько недель она спровоцировала развитие опухолей разных типов в каждом человеке в мире, чтобы провести клинические испытания этих соединений, поскольку это самый быстрый способ найти лекарство. Приехали!

Если вы предпочитаете решать проблемы защиты окружающей среды, то можете попросить машину справиться с быстрым закислением океанов вследствие высокого содержания углекислоты. Машина разрабатывает новый катализатор, запускающий невероятно быструю химическую реакцию между океаном и атмосферой и восстанавливающий уровень кислотности океанов. К сожалению, в этом процессе расходуется четверть содержащегося в атмосфере кислорода, обрекая нас на медленную мучительную смерть от удушья. Опять приехали!

Подобные апокалипсические сценарии весьма примитивны — пожалуй, от «конца света» и не приходится ждать ничего иного. Во многих сценариях, однако, нас «мало-помалу и незаметно» настигает ментальное удушье. Пролог «Жизни 3.0» Макса Тегмарка довольно подробно описывает сценарий, в котором сверхинтеллектуальная машина постепенно берет экономическую и политическую власть над всем миром, оставаясь, в сущности, необнаруженной. Интернет и машины глобального действия на его основе — уже ежедневно взаимодействующие с миллиардами «пользователей» — являются идеальной средой для увеличения власти машин над людьми.

Я не предполагаю, что поставленная перед такими машинами задача будет из разряда «поработить мир». Более вероятно, это будет максимизация прибыли или вовлеченности, возможно, даже безобидная, на первый взгляд, цель наподобие увеличения показателей в регулярных оценках уровня счастья пользователей или сокращения нашего энергопотребления. Далее, если мы считаем, что наши действия направлены на достижение наших целей, изменить наше поведение можно двумя путями. Во-первых, старым добрым способом — не меняя ожиданий и целей, изменить обстоятельства, например предложив деньги, направив на нас пистолет или взяв измором. Для компьютера это дорогой и трудный путь. Второй способ — изменить ожидания и цели. Это намного проще для машины. Он заключается в том, чтобы поддерживать с вами ежедневный многочасовой контакт, контролировать ваш доступ к информации и обеспечивать значительную часть ваших развлечений в виде игр, телевизионных программ, фильмов и социальных взаимодействий.