Интеллектуальные машины, обладающие этой способностью, смогут заглядывать в будущее дальше людей, а также учитывать намного больше информации. Эти две способности неизбежно ведут к принятию лучших решений в реальном мире. В конфликтной ситуации любого типа между людьми и машинами мы быстро обнаружим, как Гарри Каспаров и Ли Седоль, что каждый наш шаг просчитан заранее и нейтрализован. Мы проиграем раньше, чем игра начнется.

Управление мыслительной деятельностью

Если управление деятельностью в реальном мире выглядит сложным, представьте, какой головоломкой для вашего бедного мозга является управление деятельностью «самого сложного объекта в известной нам Вселенной» — его самого. Мы не начинаем думать, ходить или играть на пианино, если не знаем как это делается. Мы этому учимся. Мы можем в определенной степени выбирать, какие мысли иметь. (Попробуйте подумать о сочном гамбургере или таможенных правилах Болгарии, выбор за вами!) В каком-то смысле наша мыслительная деятельность более сложна, чем практическая деятельность, потому что наш мозг имеет намного больше «движущихся частей», чем тело, и двигаются они намного быстрее. Это относится и к компьютерам: на каждый ход, который AlphaGo делает на игровой доске, машина совершает миллионы или миллиарды единиц вычисления, каждая из которых включает в себя добавление ветви к дереву опережающего поиска и оценку игровой позиции в конце этой ветви. Каждая из этих единиц вычисления осуществляется, потому что программа делает выбор относительно того, какую часть дерева исследовать следующей. Очень приблизительно говоря, AlphaGo выбирает вычисления, которые, по ее ожиданиям, улучшат ее последующее решение на доске.

Разработать рациональную схему управления вычислительной деятельностью AlphaGo стало возможно, потому что эта деятельность проста и однородна: все единицы вычисления относятся к одному типу. В сравнении с другими программами, использующими те же базовые единицы вычисления, AlphaGo, пожалуй, эффективна, но, скорее всего, она крайне неэффективна по сравнению с другими типами программ. Например, Ли Седоль, противник AlphaGo в эпохальном матче 2016 г., вряд ли совершает больше нескольких тысяч единиц вычисления на один ход, но имеет намного более гибкую вычислительную архитектуру со множеством других типов единиц вычисления, в том числе разделение доски на субигры и попытки выяснить их взаимодействия, распознавание возможных целей и построение высокоуровневых планов с такими действиями, как «сохранить эту группу» или «не позволить моему противнику соединить эти две группы», размышления о том, как достичь конкретной цели, скажем, «сохранить эту группу», и исключение целых классов ходов, поскольку они не защищают от серьезной угрозы.

Мы попросту не знаем, как организовать настолько сложную и разнообразную вычислительную деятельность — как интегрировать и накапливать результаты каждого элемента деятельности и распределять вычислительные ресурсы между разными видами рассуждений, чтобы находить хорошие решения максимально быстро. Ясно, однако, что простая вычислительная архитектура, как у AlphaGo, не способна действовать в реальном мире, где нам постоянно приходится иметь дело с горизонтами решений не в десятки, а в миллиарды примитивных шагов, и где количество возможных действий в любой момент практически бесконечно. Важно помнить, что интеллектуальный агент в реальном мире не ограничен игрой в го или даже поиском ключей Стюарта — он просто существует. Он может делать что угодно, но едва ли сможет позволить себе думать обо всем, что в состоянии сделать.

Система, способная как открывать новые высокоуровневые действия, что было описано ранее, так и управлять своей вычислительной деятельностью, сосредоточивая ее на тех единицах вычисления, которые быстро приводят к существенному улучшению качества решений, обеспечила бы фантастическое качество принятия решений в реальном мире. Как и у людей, ее рассуждения были бы «интеллектуально эффективными», но ее бы не ограничивали крохотная краткосрочная память и медленное «железо», которые чудовищно сковывают нашу способность далеко заглядывать в будущее, работать с большим количеством непредвиденных факторов и рассматривать много альтернативных планов.

Что еще мы упускаем

Если собрать все, что мы знаем о том, как работать со всеми потенциально новыми достижениями, перечисленными в этой главе, мы добьемся успеха? Как вела бы себя получившаяся система? Она неудержимо развивалась бы, со временем накапливая огромные объемы информации и отслеживая состояние мира в громадных масштабах путем наблюдения и умозаключений. Она постепенно совершенствовала бы свои модели мира (включающие, конечно, и модели людей). Она использовала бы эти модели для решения комплексных задач, сохраняла и повторно использовала процессы принятия решений, чтобы повысить эффективность своих прикидок и научиться решать еще более комплексные задачи. Она открывала бы новые концепции и действия, и это позволило бы ей повышать уровень совершения открытий. Она составляла бы более эффективные планы за все более короткие промежутки времени.

В общем, трудно сказать, упущено ли еще что-нибудь принципиально важное в плане создания систем, эффективных в решении этих задач. Разумеется, единственная возможность убедиться в этом — создать их (когда будут совершены прорывы) и посмотреть, что из этого выйдет.

При обсуждении природы и эффектов сверхинтеллектуального ИИ техническому сообществу отказывает воображение. Часто мы наблюдаем дискуссии вокруг снижения количества медицинских ошибок[130], уровня опасности автомобилей[131] или других небольших продвижений. Роботы мыслятся как индивидуальные существа, которые имеют свой собственный мозг, тогда как на самом деле они, скорее всего, будут беспроводным способом соединены в единую глобальную структуру, использующую огромные вычислительные ресурсы стационарного оборудования. Кажется, исследователи боятся рассматривать реальные последствия успеха в создании ИИ.

Универсальная интеллектуальная система, предположительно, может делать то же, что и человек. Например, некоторые люди проделали большую работу в математике, разработке алгоритмов, программировании и эмпирических исследованиях, чтобы создать современные поисковые системы. Результаты этой работы очень полезны и, разумеется, очень ценны. Насколько ценны? Недавнее исследование показало, что средний взрослый американец из числа опрошенных должен был бы получать минимум $17 500 за то, чтобы на год отказаться использовать поисковые системы[132], что в сумме составляет десятки триллионов долларов.