Когда команда с Земли проинформировала компьютерный интеллект на Титане о том, что люди Земли озаботились защитой жизни в Море Кракена, он спросил: «Почему?»

Настоящее

В 2015 г. Илон Маск, Билл Гейтс и Стивен Хокинг предупредили, что ИИ может представлять опасность для человечества. Маск пожертвовал на изучение этой проблемы $10 млн. Большая часть суммы ушла в Институт будущего человечества Оксфордского университета; оксфордский философ Ник Бостром написал влиятельную книгу, в которой обратил внимание на угрозу сверхразума. Бостром указал, что возникновение машины, достаточно умной, чтобы захватить мир, будет, скорее всего, событием неожиданным и стремительным. Кого-то посетит великое озарение, вслед за ним множество конкурентов вложат значительные средства в использование этого озарения, и в конце концов компьютер сам направит свои быстроту и мощность на достижение экспоненциального роста своего разума.

Проблема будет не только в том, что по сравнению с умом этого компьютера наш мозг покажется ганглием червя. Настоящая проблема будет в мотивации — или воле — этого ИИ и его невероятной мощи. Будет ли разумный компьютер частью интернета, созданной зарабатывать деньги для Google? Будет ли он создан, чтобы обеспечить какой-то одной нации военное доминирование над остальными? Или он будет следить за человеческим поведением и управлять им? Органические существа мотивированы эволюционным влечением выживать и воспроизводиться. Но ценности сверхразума будут заложены его создателями, чья собственная разумность будет слишком примитивной для понимания последствий своего выбора.

Даже людям ум не обязательно дает мотивацию или волю, которая осмысленна или полезна. Андерс Сандберг из Института будущего человечества вместе с Бостромом указывал, что мотивация компьютера обусловлена тем, как его устроил человек. «Любой, кто хотя бы раз в жизни программировал, знает, как просто сделать ошибку, — говорит он. — Так что получить патологичную волю тоже довольно просто».

Андерс говорит: «Предположим, к примеру, что мы можем создать робота, способного совершенствовать свой ум, и дали ему задачу делать скрепки. В качестве попутной цели к производству скрепок он делает себя умнее. Но это не входило в наши планы. Нам просто нужны были скрепки. Теперь у нас есть сверхразумный агент, у которого есть выверенный план того, как превратить в скрепки всю вселенную. В этот момент мы можем сказать: «Погоди, я не это имел в виду!» — но это нам не поможет, потому что мы превращаемся в груду скрепок».

Это дурацкий пример, но у нас уже есть компьютеры, с помощью своих вычислительных мощностей выдающие неожиданные идеи и решения, чаще верные, нежели ошибочные. Сколько раз автоматическая проверка правописания позволяла вам исправить ваши случайные ошибки? Машинное обучение делает потрясающие вещи, порой невероятные. Приложение-переводчик от Google выучило языки мира самостоятельно, не в результате кропотливого процесса кодирования смыслов всех глаголов программистами, а путем статистического анализа обширных баз данных существующих переводов. Когда вы нажимаете на кнопку «перевести» на веб-странице, оно выискивает знакомые закономерности и подставляет соответствующие слова из другого языка. Чаще всего результат осмыслен; иногда — странен.

Преимущества машины, способной думать о тех вещах, о которых не можем думать мы, очевидны, но именно в этой способности и кроется угроза. Риск появления роботов, желающих поработить мир, невелик. Куда более рискованно то, что они будут хотеть делать что-то неожиданное, потому что мы их такими создали. Эта опасность — более глубокий вариант проблемы, уже досаждающей людям, работающим с роботами на космических аппаратах и в лабораториях: люди получают травмы, потому что не могут предугадать действия роботов.

Помочь может создание роботов, мышление которых ближе к человеческому, чьи закономерности мышления для нас были хотя бы постижимы. Вообразите создание компьютера с системой машинного обучения; усадите его мысленно за работу по разбору человеческого поведения и морали, закономерностей нашей истории и литературы. Понравится ли нам получившийся в итоге робот? Об убийстве и предательстве он узнает по меньшей мере столько же, сколько о любви и любознательности.

Человеческая этика эмоциональна, она эволюционирует вместе с нашими культурами. Движения за защиту окружающей среды не существовало до промышленной революции, но защита природы стала таким же центральным мотивом жизни некоторых людей, как для других — набожность. С чего нам печься о защите инопланетных существ, от которых нам никакого проку? Сверхразум может истолковать эти идеи как бессмысленные или сделать из них совершенно неожиданные выводы.

Сейчас не существует компьютеров, достаточно умных, чтобы так мыслить. Искусственный интеллект, сравнимый с человеческим, все время обещают «через двадцать лет». Стюарт Армстронг и Кадж Сотала из Института будущего человечества и Института исследований машинного интеллекта изучили 95 предсказаний появления ИИ, сделанных с 1950-х гг. Они обнаружили, что не важно, является ли прогнозирующий экспертом или непосвященным, опирается на доказательства или просто угадывает — чаще всего они говорят, что ИИ, сравнимый с человеческим, появится через 20 лет.

Циничное объяснение этих неудавшихся прогнозов в том, что при двадцатилетнем пределе предсказание имеет отношение к карьере самих ученых, но их взгляды не успеют признать ошибочными до ухода на покой. Но в основе своей предсказать это событие довольно сложно, потому что мы не знаем, когда произойдут ключевые открытия. Авиация развилась взрывообразно, как только братья Райт придумали правильную форму крыла. Если Бостром прав, то уже родился тот гений, в чью голову придет подобная стартовая идея, и, быть может, роботы не глупее людей появятся через поколение. Если же нет, то ждать придется еще долго.

Где мы находимся сейчас? Крупнейшие успехи в машинном обучении иллюстрируют то, как трудно нам дается воспроизведение гибкого человеческого разума. Лондонская компания под названием DeepMind[64], приобретенная Google, заявила о заметном прорыве в области ИИ в 2015 г.: она продемонстрировала компьютер, способный учиться играть в видеоигры 1980-х гг. для Atari, такие как Breakout, Pong и Space Invaders; в некоторые из них он играл куда лучше любого человека. Программистам не пришлось «скармливать» компьютеру подробности каждой игры; компьютер выработал свою стратегию для 49 игр и после усовершенствования, вероятно, сможет научиться играть и в другие игры.

Но, для того чтобы все это заработало, программистам понадобился очень мощный компьютер, тщательно маркированные базы данных для обучения играм и маленький игровой экран, который они ограничили 80 пикселями по стороне, чтобы сложнейшие вычисления были возможны. И все равно компьютер плохо осваивал игры с элементом долгосрочной стратегии: в Ms. Pac-Man и Centipede он играл хуже человека.

Система нуждалась в таком объеме вычислительных мощностей, потому что она училась играть, статистически анализируя огромные базы данных о предшествующих играх.