Насколько долгий путь предстоит нам еще проделать и какие именно шаги нужно предпринять, чтобы получить на выходе осознавшую себя машину[34], подобную Skynet из «Терминатора»?

Чтобы построить сознающие себя машины, нам придется задать им цель. Надо заметить, что цели не возникают в роботах волшебным образом из ничего, людям нужно программировать их и задавать машинам извне. Это условие — мощный барьер, предохраняющий нас от восстания машин. Возьмите хотя бы написанную в 1921 г. пьесу Карела Чапека «R.U.R.», где впервые вводится в оборот слово robot. В пьесе описывается восстание роботов против людей; роботы восстали, потому что видели, как люди дурно обращаются с другими роботами. Чтобы подобное произошло, машинам потребуется предварительное программирование очень высокого уровня. Роботы не ощущают ни эмпатии, ни страдания, ни желания захватить власть над миром, если их об этом заранее не проинструктировать.

Но предположим чисто теоретически, что некто задает нашему роботу цель — уничтожить человечество. После этого компьютер должен построить реалистичные модели будущего и поместить себя в эти планы. Здесь-то и кроется принципиальная проблема. Чтобы иметь возможность рассматривать возможные сценарии и их результаты и оценивать, насколько они реалистичны, робот должен понимать миллионы правил здравого смысла — простые законы физики, биологии и человеческого поведения, которые мы с вами считаем само собой разумеющимися. Более того, он должен разбираться в причинности и предвидеть последствия определенных действий. Человек осваивает эти законы на протяжении десятилетий личного опыта. Одна из причин того, что детство у человека длится так долго, состоит в том, что ребенок должен впитать огромное количество довольно тонкой информации о человеческом обществе и природном мире. Однако роботы не участвуют в огромном большинстве ситуаций общения и взаимодействия, в которых рождается личный опыт.

Мне нравится приводить в пример опытного грабителя банков, который способен эффективно спланировать новое ограбление и перехитрить полицию, поскольку обладает багажом воспоминаний о прежних ограблениях и может представить себе последствия любого принимаемого им решения. Компьютеру же, чтобы проделать что-нибудь несложное, хотя бы пронести оружие в банк, придется проанализировать сложную последовательность тысяч второстепенных событий, каждое из которых при программировании потребует не один миллион строк компьютерного кода. Компьютер не может сам по себе разобраться в причинах и следствиях, в него не заложена изначально такая способность.

Не исключено, конечно, что роботы все же осознают себя и обзаведутся опасными для нас целями, но, как вы видите, это маловероятно, особенно в ближайшем будущем. Ввести в машину все уравнения, необходимые ей для уничтожения рода человеческого, невероятно сложная задача. Чтобы устранить проблему роботов-убийц, нужно, по сути, не позволять никому запрограммировать их на цели, которые могут нанести вред людям. Когда осознавшие себя роботы все же появятся, мы должны будем добавить в их конструкцию отказоустойчивый чип, который просто выключит робота, если у него возникнут убийственные мысли. Мы можем спать спокойно, зная, что в обозримом будущем нас не поместят в зоопарки, где роботы будут бросать нам в клетку орешки, заставляя нас приплясывать.

Это означает, что при исследовании внешних планет и звезд мы можем положиться на роботов, которые помогут нам построить инфраструктуру, необходимую для создания поселений и городов в космосе. Тем не менее нам придется соблюдать осторожность и следить, чтобы их цели не противоречили нашим и чтобы у нас всегда имелись отказоустойчивые механизмы отключения на тот случай, если роботы вдруг станут опасны. Хотя опасность для нас с этой стороны возникнет не раньше, чем роботы осознают себя, а этого не произойдет до конца этого или начала будущего столетия, так что у нас есть время подготовиться.

Тем не менее существует один сценарий, не позволяющий исследователям ИИ спокойно спать по ночам. Вполне можно представить ситуацию, в которой робот получит двусмысленную или неточно сформулированную команду, которая в случае выполнения послужит спусковым крючком катастрофы.

В фильме «Я, робот» показан центральный компьютер VIKI, управляющий инфраструктурой большого города. VIKI получает команду защищать человечество, но, изучив, как люди обращаются с другими людьми, компьютер приходит к выводу, что величайшей угрозой для человечества является само человечество. Он математически определяет, что единственный способ защитить человечество заключается в том, чтобы взять управление им на себя.

Еще один пример — легенда о царе Мидасе. Он просил бога Диониса дать ему способность простым прикосновением превращать все что угодно в золото. Казалось бы, такой дар — верное средство добиться богатства и славы. Но Мидас дотрагивается до своей дочери — и она обращается в золото. Пища тоже становится несъедобной. Царь оказывается рабом того дара, который он сам вымолил у бога.

Герберт Уэллс в рассказе «Человек, который умел творить чудеса» разбирает аналогичную ситуацию. В один прекрасный день ничем не примечательный клерк становится обладателем поразительной способности. Все, что он пожелает, сбывается. Однажды вечером он отправляется выпить с приятелем, творя по дороге чудеса. Им не хочется, чтобы так приятно начавшаяся ночь вдруг закончилась, и молодой человек, сам того не подозревая, желает, чтобы Земля прекратила вращаться. Внезапно на них обрушиваются яростные ветры и гигантские волны. Людей, здания и города выбрасывает в космос со скоростью вращения Земли. Поняв, что он только что погубил родную планету, несчастный испытывает последнее желание: чтобы все вернулось в норму и стало так, как было до обретения им невероятной способности.