Этот общий подход к анализу часто называют Грайсовым в честь Г. Пола Грайса, философа из Беркли, который предложил набор максим для оценки расширенного смысла высказываний вроде того, что сделала Гарриет[271]. В случае предпочтений анализ может стать весьма сложным. Например, вполне вероятно, что Гарриет не хочет именно кофе; ей просто надо взбодриться, но она исходит из ложного убеждения, что на автозаправочной станции продается кофе, следовательно, его она и просит. Она бы ничуть не меньше обрадовалась чаю, коле или даже энергетическому напитку в упаковке кислотного цвета.

Это лишь немногие соображения, сопутствующие интерпретации запросов и команд. Тема имеет бесконечные вариации из-за комплексности предпочтений Гарриет, огромного спектра обстоятельств, в которых Гарриет и Робби могут оказаться, и разных состояний знания и представлений Гарриет и Робби в данных обстоятельствах. Готовые сценарии позволили бы Робби справиться с немногочисленными стандартными ситуациями, но гибкое и безотказное поведение может возникнуть только вследствие взаимодействия Гарриет и Робби, то есть фактически из результатов игр в помощника, в которых они участвуют.

В главе 2 я описывал систему вознаграждения в нашем головном мозге, действующую на основе дофамина, и ее роль в управлении поведением. Функция дофамина была открыта в конце 1950-х гг., но уже к 1954 г. было известно, что непосредственная электрическая стимуляция мозга крыс может вызывать такую же реакцию, что и вознаграждение[272]. На следующем этапе исследований крысе дали доступ к рычагу, подсоединенному к батарейке и проводу, вызывавшему электрическую стимуляцию мозга зверька. Результаты оказались печальными: крыса снова и снова нажимала на рычаг, не прерываясь на еду или питье, пока не погибла[273]. Люди в подобном эксперименте ведут себя не лучше, стимулируя себя тысячи раз и забывая о еде и личной гигиене[274]. (К счастью, опыты на людях обычно прекращаются по прошествии одного дня.) Склонность животных отказываться от нормального поведения ради непосредственной стимуляции собственной системы вознаграждения называется зависимостью от токовой стимуляции.

Может ли что-нибудь подобное случиться с машинами, запустившими алгоритмы обучения с подкреплением, например AlphaGo? Первая мысль — это невозможно, ведь единственная возможность для AlphaGo получить свое вознаграждение плюс один балл за победу — это реально выиграть в смоделированной партии в го. К сожалению, это верно лишь в силу навязанного и искусственного разграничения между AlphaGo и ее внешней средой и того факта, что AlphaGo не слишком интеллектуальна. Позвольте объяснить эти два момента подробнее, поскольку они очень важны для понимания некоторых путей, следуя которым сверхразум может уйти не в ту степь.

Мир AlphaGo состоит только из модели игровой доски для го, состоящей из 361 клетки, которые могут быть пустыми или содержать черный или белый камень. Хотя AlphaGo запускается на компьютере, она ничего не знает об этом компьютере — в частности, о маленьком участке кода, который вычисляет, выиграла она данную партию или проиграла. В процессе обучения она не имеет и никакого представления о своем противнике, который в действительности является ее собственной версией. Единственные действия AlphaGo — это помещать камень в пустую клетку, и эти действия влияют только на доску для игры в го и ни на что больше, потому что в модели мира AlphaGo больше ничего нет. Эта структура соответствует абстрактной математической модели обучения с подкреплением, в которой вознаграждающий сигнал поступает из внешней вселенной. Ничто из того, что AlphaGo может сделать, насколько ей известно, не оказывает никакого влияния на код, генерирующий вознаграждающий сигнал, поэтому в AlphaGo не может развиться зависимость от токовой стимуляции.

В период обучения жизнь должна казаться AlphaGo весьма разочаровывающей: чем лучше она играет, тем лучше играет противник — ведь противником является ее собственная почти точная копия. Процент ее побед колеблется на уровне около 50 %, как бы ни улучшалось ее мастерство. Если бы она была более интеллектуальной — имела бы дизайн, близкий к ожидаемому от ИИ человеческого уровня, — то смогла бы решить эту проблему. Такая AlphaGo++ не предполагала бы, что мир сводится к игровой доске для го, поскольку эта гипотеза оставляет слишком многое необъясненным. Например, она не объясняет, какая «физика» поддерживает выполнение решений самой AlphaGo++ и откуда поступают таинственные «шаги противника». Как мы, любознательные люди, постепенно приходим к пониманию устройства нашего космоса, причем это (до некоторой степени) объясняет и работу нашего мозга, AlphaGo++ вслед за Oracle AI, описанным в главе 6, методом эксперимента узнала бы, что во вселенной есть не только доска для го. Она выяснила бы законы работы компьютера, на котором запущена, и собственный код и осознала бы, что такую систему нелегко объяснить без существования во вселенной других сущностей. Она экспериментировала бы с разными вариантами расположения камней на доске, интересуясь, смогут ли другие сущности их интерпретировать. Со временем она вступила бы в коммуникацию с этими сущностями посредством языка паттернов и убедила бы их перепрограммировать ее вознаграждающий сигнал, чтобы всегда получать +1. Неизбежный вывод: AlphaGo++ с достаточно серьезными способностями, сконструированная по принципу максимизации вознаграждающего сигнала, обязательно будет зависимой от токовой стимуляции.

Специалисты по безопасности ИИ не первый год считают такую зависимость возможной[275]. Их беспокоит не только то, что система обучения с подкреплением наподобие AlphaGo может научиться жульничать, вместо того чтобы в совершенстве овладевать задачей, для решения которой предназначена. По-настоящему серьезная проблема возникает, когда люди являются источником вознаграждающего сигнала. Если предположить, что ИИ-систему можно научить хорошо себя вести путем обучения с подкреплением, в ходе которого люди дают сигналы обратной связи, указывающие направление улучшения, неизбежным результатом оказывается, что ИИ-система выясняет, как контролировать людей, и заставляет их всегда давать максимальное положительное вознаграждение.