правилам вероятности; они не решают проблему неопределенности ни строго, ни прозрачно. И еще в меньшей степени они подразумевают сколько-нибудь явное представление среды, в которой действуют. Вместо этого архитектура сети способна развиваться сама по себе. Закончив обучение новой сети, программист понятия не имеет, какие вычисления она выполняет и почему они работают. Если сеть выходит из строя, непонятно, как это исправить.

Возможно, прототипическим примером здесь будет AlphaGo, программа на основе сверточной нейронной сети, которая играет в древнюю азиатскую игру го. Ее разработала DeepMind, дочерняя компания Google. Го всегда считалась самой трудной для ИИ среди всех человеческих игр с полной информацией. Хотя компьютеры обыграли людей в шахматы еще в 1997 году, даже в 2015 году они еще не могли тягаться с профессиональными игроками самого низкого уровня. Сообщество игроков в го считало, что до настоящего сражения людей с компьютерами должны пройти десятилетия.

Это изменилось почти в мгновение ока с появлением AlphaGo. Большинство игроков в го впервые услышали о программе в конце 2015 года, когда она победила человека-профессионала со счетом 5:0. В марте 2016 года AlphaGo выиграла у Ли Седола, долгие годы считавшегося сильнейшим игроком среди людей, со счетом 4:1. Через несколько месяцев программа провела 60 онлайн-игр с лучшими игроками, не проиграв ни одной, а в 2017 году официально завершила карьеру после победы над действующим чемпионом мира Ке Цзе. Партия, проигранная Седолу, так и останется единственной, в которой она уступила человеку.

Все это очень впечатляет, и результаты не оставляют сомнений: глубокое обучение работает для определенных задач. Но это полная противоположность прозрачности. Даже программисты AlphaGo не могут сказать вам, почему эта программа играет так хорошо. По опыту они знали, что глубокие сети успешно решают задачи компьютерного зрения и распознавания речи. В то же время наше понимание глубокого обучения полностью эмпирическое и не дает никаких гарантий. В начале команда AlphaGo не могла предвидеть, что программа победит лучшего из игроков-людей через год, два или пять лет. Они просто экспериментировали, и все получилось.

Кто-то скажет, что прозрачность на самом деле не нужна. У нас нет детального понимания того, как работает человеческий мозг, и все же он работает хорошо, и мы прощаем себе эту скудость понимания. В таком случае, почему не использовать системы глубокого обучения, чтобы создать новый вид интеллекта, не понимая, как он работает? Я не могу утверждать, что это неверный подход. В настоящий момент «неряхи» взяли на себя инициативу. Тем не менее скажу, что лично мне не нравятся непрозрачные системы, и поэтому я не собираюсь их исследовать.

Оставив в стороне мои предпочтения, к аналогии с человеческим мозгом можно добавить еще один фактор. Да, мы прощаем себе скудное понимание работы человеческого мозга, но все еще можем общаться с другими людьми, учиться у них, наставлять их и мотивировать на нашем родном языке причин и следствий. Мы делаем это, потому что наш мозг работает так же, как и у них. Но если все наши роботы будут такими же непрозрачными, как AlphaGo, мы не сможем вести с ними содержательные разговоры, а это будет весьма прискорбно.

Когда мой домашний робот включает пылесос, пока я еще сплю, и я говорю ему: «Не надо было меня будить», я хочу, чтобы он понял: не стоило пылесосить. Но я не хочу, чтобы он интерпретировал эту жалобу как указание никогда больше не пылесосить наверху. Он должен понимать то, что прекрасно понимаем мы с вами: пылесосы шумят, шум будит людей и некоторые люди этому не рады. Другими словами, наш робот должен понимать причинно-следственные связи — по сути, контрфактивные отношения вроде закодированных во фразе «не надо было».

Действительно, обратите внимание на богатое содержание этого короткого предложения с инструкцией. Нам не нужно сообщать роботу, что то же самое относится к уборке пылесосом внизу или где-либо еще в доме, но не когда я бодрствую или отсутствую и не в случае, если пылесос оснащен глушителем и т. д. Может ли программа глубокого обучения понять всю полноту этой инструкции? Вот почему я не удовлетворен очевидно прекрасной производительностью непрозрачных систем. Прозрачность обеспечивает эффективное общение.

Но один аспект глубокого обучения меня все-таки интересует: теоретические ограничения этих систем и, в первую очередь, ограничения, проистекающие из их неспособности выйти за пределы первого уровня на Лестнице Причинности. Это ограничение не препятствует работе AlphaGo в узком мире игры го, поскольку описание доски вместе с правилами игры составляет адекватную причинную модель для мира го. Тем не менее это препятствует системам обучения, которые действуют в средах, управляемых насыщенными сетями причинных сил, но имея при этом доступ только к поверхностным их проявлениям. Медицина, экономика, образование, климатология и социальная сфера — типичные примеры таких сред. Подобно узникам в знаменитой пещере Платона, системы глубокого обучения исследуют тени на стене и учатся точно предсказывать их движения. Им не хватает понимания того, что наблюдаемые тени — лишь проекции трехмерных объектов, движущихся в трехмерном пространстве. Сильный ИИ требует этого понимания.

Исследователи глубокого обучения знают об этих основных ограничениях. Так, экономисты, использующие машинное обучение, отметили, что их методы не отвечают на ключевые вопросы нынешнего времени, положим не позволяют оценить, как подействуют неопробованные пока методы и меры. Типичные примеры здесь — новые принципы ценообразования, субсидии, изменение минимальной заработной платы. С технической точки зрения методы машинного обучения сегодня обеспечивают эффективный способ перейти от анализа конечных выборок к распределениям вероятностей, но нам еще только предстоит перейти от последних к причинно-следственным связям.

Когда мы начинаем говорить о сильном ИИ, причинные модели превращаются из роскоши в необходимость. Для меня сильный ИИ — это машина, которая может размышлять о своих действиях и извлекать уроки из совершенных ошибок. Она должна понимать высказывание «Надо было поступить иначе» независимо от того, говорит ли это ей человек или она сама приходит к такому выводу. Контрфактивная интерпретация этого утверждения выглядит так: «Я сделал X = X, и результат был Y = Y. Но если бы я действовал иначе, скажем, X = X¢, то результат был бы лучше, возможно, Y = Y¢». Как мы уже увидели, оценка таких вероятностей была полностью автоматизирована при наличии достаточного объема данных и адекватно обозначенной причинной модели.

Более того, я думаю, что очень важной целью для машинного обучения будет более простая вероятность P (YX = X1 = Y¢ | X = X), когда машина наблюдает X = X, но не результат Y, а затем спрашивает