Я думаю, что у части этих проблем могут быть решения, особенно если мы ограничим системы Oracle AI, чтобы они были доказуемо рациональными логическими или Байесовыми калькуляторами. А именно — мы могли бы потребовать, чтобы алгоритм был способен выдать лишь вывод, обусловленный предоставленной информацией, и имели бы возможность проверить математическими методами, что алгоритм удовлетворяет этому условию. При этом все равно остается проблема контроля за процессом принятия решения, какие логические или Байесовы вычисления выполнять, чтобы найти самое сильное решение из возможных, максимально быстро. Поскольку есть стимул для быстрого протекания этого процесса, то имеется и стимул приобретать вычислительные ресурсы и, разумеется, защищать собственное существование.

В 2018 г. Центр исследования совместимого с человеком ИИ в Беркли провел семинар, на котором мы задались вопросом: «Что бы вы сделали, узнав совершенно точно, что сверхинтеллектуальный ИИ будет создан в течение десятилетия?» Мой ответ был следующим: убедить разработчиков повременить с созданием универсального интеллектуального агента — способного самостоятельно выбирать свои действия в реальном мире — и вместо этого создать Oracle AI. Тем временем мы бы трудились над решением проблемы обеспечения максимально возможной доказываемой безопасности систем Oracle AI. Эта стратегия может сработать по двум причинам: во-первых, сверхинтеллектуальная система Oracle AI все равно стоила бы триллионы долларов, и разработчики, возможно, согласились бы с ограничением; во-вторых, контролировать системы Oracle AI почти наверняка проще, чем универсального интеллектуального агента, и у нас было бы больше шансов решить проблему в течение десятилетия.

…работать в командах из людей и машин?

Корпорации дружно уверяют нас, что ИИ не угрожает трудовой занятости или человечеству, потому что мы просто создадим команды людей, сотрудничающих с ИИ. Например, в упомянутом ранее письме Дэвида Кенни Конгрессу утверждается, что «обладающие высокой ценностью системы ИИ специально разработаны для того, чтобы дополнить человеческий разум, а не заменить работников»[222].

Циник заметил бы, что это всего лишь пиар-ход, призванный подсластить горькую пилюлю — исчезновение работников-людей из числа клиентов корпораций, но я считаю, что это все-таки шажок вперед, пусть маленький. Действительно, сотрудничество людей и ИИ — желанная цель. Очевидно, что команда не добьется успеха, если задачи ее членов будут рассогласованными, поэтому акцент на команды в составе людей и ИИ подчеркивает необходимость решить основополагающую проблему согласования ценности. Разумеется, подчеркнуть проблему не то же самое, что решить ее.

…слиться с машинами?

Объединение человека и машины в команду в своем крайнем проявлении превращается в слияние человека и машины, когда электронное оборудование подключается непосредственно к мозгу и становится частью единой, расширенной, сознающей сущности. Футурист Рэй Курцвейл так описывает эту возможность[223]:

Курцвейл оценивает эти изменения положительно. Илон Маск, в свою очередь, считает слияние человека и машины в основном оборонительной стратегией[224]:

Компания Маска Neuralink Corporation работает над устройством, получившим название «нейронное кружево», по технологии, описанной в романах Иэна Бэнкса из цикла «Культура». Целью является создание надежной постоянной связи между корой головного мозга человека и внешними компьютерными системами и сетями. Имеется два главных препятствия технического характера: первое — трудности соединения электронного устройства с тканями мозга, их энергопитание и связь с внешним миром; второе — тот факт, что мы почти совершенно не понимаем нейронной реализации высоких уровней когнитивной деятельности в мозге, следовательно, не знаем, куда присоединять устройство и какие процессы оно должно выполнять.

Я сомневаюсь, что препятствия, описанные в предыдущем абзаце, непреодолимы. Во-первых, такие технологии, как нейронная пыль, быстро снижают размер и требования к питанию электронных устройств, которые могут быть подсоединены к нейронам и обеспечивать сенсорику, стимуляцию и внутричерепную коммуникацию[225]. (К 2018 г. технология достигла размеров около 1 мм3, так что, возможно, более точный термин — нейронный песок.) Во-вторых, сам мозг имеет потрясающие возможности адаптации. Принято было считать, например, что нам нужно понять код, с помощью которого мозг управляет мышцами руки, прежде чем можно будет успешно подсоединить мозг к роботу-манипулятору, и что мы должны разобраться, как улитка уха анализирует звук, чтобы можно было создать ее заменитель. Оказалось, что мозг делает большую часть работы за нас. Он быстро постигает, как заставить роботизированную руку делать то, что хочет ее владелец, и как отображать информацию, поступающую в имплант внутреннего уха, в форме различимых звуков. Более чем вероятно, что мы наткнемся на способы снабдить мозг дополнительной памятью, каналами коммуникации с компьютерами и, возможно, даже каналами коммуникации с мозгом других людей — даже не понимая в полной мере, как все это работает[226].