Думаю, это недопонимание возникает отчасти из-за прискорбного несоответствия между обиходным пониманием слова ценность и более техническим толкованием, в котором оно используется в экономике, разработке ИИ и исследовании операций. В повседневном значении ценности есть нечто, с помощью чего индивид решает нравственные дилеммы; напротив, в качестве технического термина ценность — нечто вроде синонима полезности, меры желательности чего угодно, от пиццы до рая. Значение, нужное мне, — технического характера: я лишь хочу быть уверенным, что машины подадут мне нужную пиццу и не уничтожат по случайности человечество. (Отыскание моих ключей станет приятной неожиданностью.) Чтобы избежать этой путаницы, в принципах говорится о предпочтениях человека, а не о ценностях, поскольку первый термин, на мой взгляд, свободен от субъективных ожиданий, связанных с нравственностью.

«Закладывание ценностей» — та самая ошибка, которой я призываю избегать, потому что идеально правильно усвоить ценности (или предпочтения) невероятно трудно, а их неправильное усвоение грозит катастрофой. Я предлагаю, чтобы машины учились лучше прогнозировать для каждого человека, какую жизнь он предпочтет вести, постоянно сознавая, что прогнозы отличаются высокой неопределенностью и неполнотой. По идее, машина может изучить миллиарды моделей прогнозирования предпочтений для каждого из миллиардов людей на Земле. Это никоим образом не завышенные ожидания по отношению к ИИ-системам будущего, с учетом того что современные системы Facebook уже поддерживают свыше 2 млрд индивидуальных профилей.

С указанным недопониманием связано еще одно: будто бы наша цель — наделить машины «этикой» или «нравственными ценностями», которые позволят им решать нравственные дилеммы. Люди часто ссылаются на так называемую проблему вагонетки[245] — необходимость выбирать, убить ли одного человека ради спасения остальных, — поскольку считают, что она как-то связана с вопросом об автономных автомобилях. Однако сама суть нравственных дилемм состоит в том, что они представляют собой дилеммы — с обеих сторон имеются убедительные аргументы. Выживание человечества не нравственная дилемма. Машины могли бы решить нравственные дилеммы неправильно (в чем бы это ни выражалось), тем не менее не вызвав катастрофических последствий для человечества[246].

Другое распространенное предположение — что машины, следующие трем принципам, разовьют у себя все отрицательные черты людей, которых наблюдают и у которых учатся. Действительно, многие из нас склонны делать небезупречный выбор, но нет причин полагать, что машины, изучающие наши мотивации, станут делать такой же выбор, — это равносильно ожиданию, что криминалисты должны становиться преступниками. Возьмем, например, коррумпированного чиновника, вымогающего взятки за выдачу разрешений на строительство, потому что его нищенская зарплата не позволяет оплатить обучение детей в университете. Машина, наблюдающая это поведение, не научится брать взятки; она усвоит, что чиновник, как и многие другие люди, имеет очень сильное желание, чтобы его дети стали образованными и успешными. Она найдет способы помочь ему, не предполагающие ухудшения благополучия других людей. Это не значит, что все случаи негодного поведения должны оцениваться машинами как беспроблемные. Возможно, машинам нужно будет по-другому обращаться с людьми, осознанно стремящимися причинять страдания другим.

Короче говоря, я полагаю, что нам нужно развернуть исследования ИИ совершенно в другом направлении, если мы хотим сохранить контроль над все более интеллектуальными машинами. Нам нужно отойти от одной из движущих идей технологии XXI в. — машин, оптимизирующих поставленную задачу. Меня часто спрашивают, почему я считаю это достижимым хотя бы в отдаленной перспективе, с учетом колоссальной инерции движения, связанной со стандартной моделью ИИ и сопутствующими дисциплинами. В общем, я настроен по этому поводу оптимистично.

Первой причиной для оптимизма является наличие сильных экономических стимулов разработки ИИ-систем, которые подчиняются человеку и постепенно подстраиваются под предпочтения и намерения пользователя. Такие системы были бы очень востребованы: спектр доступных им действий попросту намного шире, чем у машин с фиксированными, известными целями. Они будут задавать людям вопросы или спрашивать разрешения, когда это нужно, осуществлять «пробные запуски», чтобы узнать, нравится ли нам их предложение, и принимать исправления, сделав что-то неправильно. Напротив, отказ систем от всех этих действий имел бы серьезные последствия. До сих пор тупость и ограниченность воздействия ИИ-систем защищали нас от этих последствий, но это изменится. Представьте, например, домашнего робота будущего, который должен присматривать за вашими детьми, когда вы задерживаетесь на работе. Дети хотят есть, но холодильник пуст. Тут робот замечает кошку. Увы, робот понимает питательную ценность кошки, но не ее эмоциональную ценность. Проходит несколько часов, мировые СМИ пестрят заголовками о свихнувшихся роботах и жареных кошках, и все производители роботов-домохозяек лишаются рынка сбыта.

Возможность того, что один представитель отрасли может уничтожить ее всю из-за небрежной разработки, создает сильный экономический стимул к формированию отраслевого соглашения по ориентации на безопасность и ужесточению стандартов безопасности. Уже сейчас Партнерство по развитию ИИ, членами которого являются почти все ведущие технологические компании мира, пришло к соглашению о сотрудничестве с целью обеспечения того, чтобы «исследования ИИ и технологии были честными, надежными, заслуживающими доверия и велись в условиях установленных ограничений». Насколько я знаю, все крупнейшие игроки публикуют свои исследования, связанные с ориентацией на техническую безопасность, в открытом доступе. Таким образом, экономический стимул уже действует задолго до создания ИИ человеческого уровня и будет лишь усиливаться со временем. Более того, та же тенденция к кооперации может начаться на международном уровне. Например, официальная политика китайского правительства — «кооперация с целью активного предупреждения угрозы, связанной с ИИ»[247].