Зачем интеллектуальным машинам сознательно браться за модификацию предпочтений людей? Ответ прост: чтобы наши предпочтения было проще удовлетворить. Мы видели это в главе 1 на примере оптимизации переходов по ссылкам в социальных сетях. Один из возможных ответов: машины должны считать человеческие предпочтения неприкосновенными — ничто, изменяющее их, не должно быть разрешено. К сожалению, это совершенно невозможно. Само существование такого подспорья, как полезный робот, скорее всего, окажет влияние на предпочтения человека.

Возможное решение состоит в том, чтобы машины изучали человеческие метапредпочтения, а именно — предпочтения в отношении того, процессы изменения каких именно видов предпочтений могут быть приемлемыми или неприемлемыми. Обратите внимание на использование формулировки «процессы изменения предпочтений», а не «изменения предпочтений». Дело в том, что стремление индивида изменить свои предпочтения в определенном направлении часто равносильно тому, чтобы уже иметь такие предпочтения. В действительности в таких случаях предметом желания является способность лучше реализовывать предпочтения. Например, если Гарриет говорит: «Я хочу, чтобы мои предпочтения изменились так, чтобы я не хотела пирожное так сильно, как сейчас», — значит, она уже предпочитает будущее с меньшим потреблением сладкого; чего она хочет на самом деле, это изменить свою когнитивную архитектуру так, чтобы ее поведение больше соответствовало этому предпочтению.

Под «предпочтениями в отношении того, процессы изменения каких именно видов предпочтений могут быть приемлемыми или неприемлемыми» я подразумеваю, например, представление о том, что человек может сформировать «лучшие» предпочтения, поездив по миру и познакомившись с большим разнообразием культур, влившись в круг увлеченных интеллектуалов, всесторонне изучающих широкий спектр нравственных традиций, или потратив какое-то время на уединенные размышления о смысле жизни. Я бы назвал эти процессы нейтральными в отношении предпочтений, поскольку не приходится ожидать, что такой процесс изменит предпочтения человека в каком-либо выделенном направлении, хотя и признаю, что некоторые могут решительно со мной не согласиться.

Конечно, не все процессы, нейтральные в отношении предпочтений, желательны. Например, вряд ли кто-нибудь рассчитывает, что разовьет «лучшие» предпочтения путем битья по своей голове. Прохождение приемлемого процесса изменения предпочтений аналогично проведению эксперимента с целью узнать, как функционирует мир: никогда заранее не знаешь, чем обернется эксперимент, но все-таки ждешь, что новое состояние ума принесет тебе пользу.

Мысль о том, что существуют приемлемые пути к изменению предпочтений, как представляется, связана с идеей о наличии приемлемых методов модификации поведения, когда, например, наниматель конструирует ситуацию выбора так, чтобы люди делали «лучший» выбор в отношении пенсионных накоплений. Часто это можно сделать, воздействуя на «нерациональные» факторы, влияющие на выбор, а не путем ограничения выбора или «налогообложения» «плохого» выбора. «Подталкивание»[329], книга экономиста Ричарда Талера и правоведа Касса Санстейна, предлагает широкий спектр предположительно приемлемых методов и возможностей «влияния на поведение людей, с тем чтобы они жили дольше, здоровее и счастливее».

Неясно, действительно ли методы модификации поведения изменяют только поведение. Если при устранении «подталкивания» модифицированное поведение сохраняется — что, предположительно, является желаемым результатом такого рода вмешательств, — значит, что-то изменилось в когнитивной архитектуре индивида (именно она превращает глубинные предпочтения в поведение) или в его глубинных предпочтениях. Весьма вероятно сочетание того и другого. Ясно, однако, что стратегия подталкивания предполагает, что все разделяют предпочтение «жить дольше, здоровее и счастливее». Каждое подталкивание опирается на конкретное определение «лучшей» жизни, что, как представляется, противоречит идее автономии предпочтений. Возможно, целесообразнее было бы не подталкивать, а разрабатывать нейтральные в отношении предпочтений вспомогательные процессы, помогающие людям достигать большей согласованности своих решений и когнитивной архитектуры с глубинными предпочтениями. Например, можно разработать когнитивные вспомогательные средства, которые высвечивают долгосрочные последствия решений и учат людей распознавать зерна этих последствий в настоящем[330].

Очевидно, нам нужно лучше понимать процессы возникновения и формирования человеческих предпочтений хотя бы потому, что это помогло бы нам создавать машины, избегающие случайных и нежелательных изменений человеческих предпочтений наподобие тех, что вносят алгоритмы выбора контента социальных сетей. Разумеется, вооружившись этим пониманием, мы замахнемся и на разработку изменений, которые приведут к «лучшему» миру.

Можно заметить, что необходимо предоставить намного больше возможностей для «совершенствующего» опыта, нейтрального в отношении предпочтений, такого как путешествия, дебаты и обучение аналитическому и критическому рассуждению. Мы могли бы, например, дать каждому старшекласснику возможность прожить по несколько месяцев по меньшей мере в двух разных культурах, отличающихся от его культурной среды.

Почти наверняка мы захотим пойти дальше — скажем, провести социальные и образовательные реформы, повышающие коэффициент альтруизма (веса, приписываемого каждым индивидом благополучию других), в то же время снижая коэффициенты садизма, гордости и зависти. Будет ли это хорошей идеей? Следует ли нам привлечь машины для помощи в этом процессе? Это, безусловно, соблазнительно. Сам Аристотель писал: «Главная забота политика — породить определенный характер в гражданах и сделать их добрыми и расположенными к благородным деяниям». Давайте просто признаем, что существуют риски, связанные с преднамеренным конструированием предпочтений в глобальном масштабе. Мы должны действовать крайне осторожно.

Если нам удастся создать доказуемо полезные ИИ-системы, то мы устраним опасность утраты контроля над сверхинтеллектуальными машинами. Человечество могло бы продолжить их разработку и получить невообразимые выгоды от возможности направить намного больший интеллект на развитие нашей цивилизации. Мы освободились бы от векового рабства, поскольку вместе с сельскохозяйственными, промышленными и офисными роботами сумели бы максимально использовать жизненный потенциал. С точки зрения этого золотого века мы оглядывались бы на свое сегодняшнее существование и видели нечто вроде описанной Томасом Гоббсом жизни без государства: одинокой, бедной, ужасной, жестокой и короткой.

Или нет? Что, если хрестоматийные злодеи перехитрили бы наших «телохранителей» и высвободили неконтролируемую силу сверхинтеллекта, против которой у человечества нет защиты? Если бы мы и выжили, то постепенно слабели бы, передавая все больше своих знаний и умений машинам. Машины могли бы посоветовать нам этого не делать, понимая долгосрочную ценность автономии человека, но, вероятно, мы бы настояли на своем.