Вторая причина для оптимизма заключается в изобилии исходных данных для изучения человеческих предпочтений, а именно примеров человеческого поведения. Данные поступают не только в форме прямого наблюдения через видеокамеру, клавиатуру и тачскрин миллиардов машин, обменивающихся данными о миллиардах человек (разумеется, с ограничениями, связанными с конфиденциальностью), но и опосредованно. Самым очевидным типом косвенных данных является огромная летопись человечества: книги, фильмы, теле- и радиотрансляции, почти полностью посвященные тому, что люди делают (а другие люди из-за этого расстраиваются). Даже самые ранние и скучные шумерские и египетские хроники обмена медных чушек на мешки ячменя дают некоторое представление о человеческих предпочтениях в отношении различных товаров повседневного спроса.

Разумеется, определенные трудности сопутствуют интерпретации этих исходных данных, включающих пропаганду, вымысел, бред сумасшедших и даже заявления политиков и президентов, но, безусловно, у машины нет причин принимать это все за чистую монету. Машины могут и будут интерпретировать все коммуникации других разумных сущностей как шаги на игровом поле, а не как установленные факты. В некоторых играх, например на сотрудничество с участием одного человека и одной машины, у человека есть стимул быть правдивым, но во многих других ситуациях имеются стимулы к нечестности. Разумеется, честные или лживые, люди могут искренне заблуждаться.

Есть и другой тип косвенных данных, бросающихся в глаза: то, каким мы сделали мир[248]. Мы сделали его именно таким, потому что — очень сильно обобщая — он нравится нам таким. (Разумеется, он не совершенен!) Представьте теперь, что вы инопланетянин, оказавшийся на Земле, когда все люди уехали на выходные. Заглядывая в их дома, начнете ли вы понимать основы человеческих предпочтений? На полах лежат ковры, потому что нам нравится ходить по мягким теплым поверхностям и не нравятся громкие шаги; вазы стоят посреди столов, а не на краю, потому что мы не хотим, чтобы они упали и разбились, и т. д. — все, что не организовано самой природой, дает представление о том, что нравится и что не нравится странным двуногим созданиям, населяющим эту планету.

Вы можете заметить, что обещания Партнерства по развитию ИИ относительно кооперации в области обеспечения безопасности ИИ не слишком вдохновляют, если следите за прогрессом в области автономных автомобилей. Это остроконкурентная область по веским причинам. Первый производитель, который выпустит на рынок полностью автономное транспортное средство, получит гигантское рыночное преимущество; это преимущество будет развиваться, поскольку производитель сможет быстрее собирать больше данных для улучшения работы системы; компании, занимающиеся извозом, такие как Uber, будут быстро вытеснены из бизнеса, если другая компания выставит полностью автономные такси прежде самого Uber. Это повлечет за собой гонку с высокими ставками, в которой осмотрительность и тщательное конструирование, похоже, менее важны, чем шикарные выставки, переманивание специалистов и публичные показы несовершенных продуктов.

Таким образом, экономическая конкуренция не на жизнь, а на смерть создает импульс экономить на безопасности в надежде выиграть гонку. В ретроспективной статье 2008 г. о конференции 1975 г. в Асиломаре, приведшей к принятию моратория на генетическое изменение людей, один из ее организаторов, биолог Пол Берг, писал[249]:

Экономическая конкуренция возникает не только между корпорациями, но и между странами. Недавний вал сообщений о многомиллиардных государственных инвестициях в ИИ, поступающих из США, Китая, Франции, Британии и ЕС, безусловно, свидетельствует, что ни один из крупнейших игроков не хочет отстать. В 2017 г. президент России Владимир Путин сказал: «Тот, кто станет лидером [в сфере ИИ], будет править миром»[250]. Это совершенно верный вывод. Продвинутый ИИ, как мы убедились в главе 3, приведет к огромному росту производительности и частоты инноваций практически во всех областях. Если его владелец не станет делиться инновациями, то получит возможность обойти любое соперничающее с ним государство или экономический блок.

Ник Бостром в «Сверхразумности» предостерегает против этой мотивации. Конкуренция государств, как и конкуренция корпораций, будет более сосредоточиваться на развитии возможностей как таковых и в меньшей мере — на проблеме контроля. Возможно, однако, что Путин читал Бострома; далее он сказал: «Было бы крайне нежелательно, чтобы кто-либо захватил монопольное положение». Это было бы еще и довольно бессмысленно, поскольку ИИ человеческого уровня не является игрой с нулевым итогом, и, поделившись им, нельзя ничего потерять. Напротив, конкурентная борьба за то, чтобы первым создать ИИ человеческого уровня, не решив сначала проблему контроля, — это игра с отрицательным итогом. Отдача для каждого — минус бесконечность.

Исследователи ИИ имеют лишь ограниченные возможности повлиять на развитие мировой политики в отношении ИИ. Мы можем указывать на возможные применения, которые приведут к полезным экономическим и социальным результатам; мы можем предупреждать о возможностях неправомерного использования, скажем, для слежки и в качестве оружия; наконец, мы можем предложить дорожные карты возможных направлений будущих открытий и их последствий. Пожалуй, самое важное, что мы можем сделать, — это разработать ИИ-системы, являющиеся, насколько это возможно, доказуемо безопасными и полезными для людей. Лишь тогда будет иметь смысл разработка общего регламента по ИИ.

Чтобы перестроить работу над ИИ в соответствии с новыми принципами, нужно заложить надежный фундамент. Когда на кону стоит будущее человечества, надежд и благих намерений — как и образовательных инициатив, отраслевых кодексов поведения, правового регулирования и экономических стимулов действовать правильно — недостаточно. Все эти меры могут подвести и часто подводят. В подобной ситуации мы хотим строгих определений и педантичных пошаговых математических доказательств, чтобы получить бесспорные гарантии.