Четвертый — рекурсия: способность встроить одну мысль внутрь другой, так что мы можем понимать не только утверждение, что Элвис жив, но и мысль, что National Enquirer сообщил, что Элвис жив, или что некоторые люди верят сообщению журнала National Enquirer, что Элвис жив, или что это удивительно, но некоторые люди верят сообщению журнала National Enquirer, что Элвис жив, и т. д. Коннекционистские сети будут напластовывать эти утверждения и запутаются в подлежащих и сказуемых.

И последний ускользающий от коннекционистских моделей талант — наша способность оперировать категориями в противовес неопределенным размышлениям. Это помогает нам понять, что Боб Дилан — дедушка, хотя он и не выглядит как типичный дедушка, или что землеройка — не грызун, хотя и очень похожа на мышь. Не имея ничего, кроме супа из нейронов для фиксации свойств объекта, и без запаса правил, переменных и определений сеть оперирует стереотипами и сбивается с толку нетипичными примерами.

В книге «Слова и правила» (Words and Rules) я целенаправленно изучаю единственный феномен языка, который служит проверкой для способности неспециализированных ассоциативных сетей ухватывать самую его суть: составление новых комбинаций из слов или частей слов. Люди не просто запоминают отрывки речи, они создают нечто новое. Простой пример — прошедшее время. Услышав неологизм вроде «спамить» или «гуглить», человек не полезет в словарь, чтобы узнать форму прошедшего времени этих глаголов. Он инстинктивно знает, что правильно — «спамил» и «гуглил». Способность создавать новые комбинации появляется очень рано, в возрасте двух лет, когда англоязычные, например, дети порой неверно образуют прошедшее время, без надобности добавляя окончание — ed к неправильным глаголам, как в «We holded the baby rabbit» и «Horton heared a Who»16.

Очевидный способ объяснить этот талант — обратиться к двум видам вычислительных операций, осуществляемых в уме. Неправильные формы вроде held и heard хранятся в памяти и извлекаются из нее, подобно любому другому слову. Правильные формы, такие как walk-walked, создаются в уме с помощью грамматического правила о добавлении «-ed» к глаголу. Правило применяется, когда память не может помочь, например, когда слово незнакомо и форма его прошедшего времени не хранится в памяти, как в случае с неологизмами, или когда ребенок не может вспомнить неправильную форму, как в случае с «heard», а обозначить прошедшее время необходимо. Присоединение суффикса к глаголу — маленький пример важного человеческого таланта: умения комбинировать слова и фразы, чтобы создавать новые предложения и выражать ими новые мысли. Это одна из свежих идей когнитивной революции, о которых я писал в третьей главе, и один из логических вызовов коннекционизму, перечисленных мной в предшествующей дискуссии.

Коннекционисты использовали прошедшее время как опытный полигон, проверяя, смогут ли они повторить этот хрестоматийный пример человеческой креативности без использования правил и без разделения труда между системой памяти и системой грамматического комбинирования. Серии компьютерных моделей пытались образовывать формы прошедшего времени, используя простые сети сопоставления данных. Эти сети обычно связывают звуки в глаголе со звуками формы прошедшего времени: — am с — ammed, — ing с — ung и т. д. Затем модель может создавать новые формы по аналогии, вроде того как создается обобщение тигров со львами: модель, обученная на слове «crammed», может угадать «spammed», а на слове «folded» — способна сказать «holded».

Но, когда говорят люди, они не просто ассоциируют звуки со звуками, а делают гораздо большее, так что модели не могут за ними угнаться. Ошибки происходят из-за отсутствия механизмов, оперирующих логическими связями. Большинство моделей заходят в тупик, пытаясь справиться с новыми словами, которые не похожи на уже знакомые и не могут быть обобщены по аналогии. Встретившись с новым словом «frilg», например, они выдают не «frilged», как сделал бы человек, а странную смесь вроде «freezled». Дело в том, что у них нет алгоритма переменной (как «х» в алгебре или «глагол» в грамматике), приложимого к любому элементу категории, независимо от того, насколько знакомы его свойства. (Это механизм, позволяющий людям мыслить категориями.) Сети могут только ассоциировать отрывки звуков с другими отрывками, и, сталкиваясь с новым глаголом, который звучит непохоже ни на один из тех, на которых они обучались, сети выдают на-гора попурри из наиболее похожих звуков, какие только могут найти.

Модели также не могут различать глаголы-омонимы с одинаковым звучанием, но разными формами прошедшего времени, как в случае «ring the bell» — «rang the bell» или «ring the city» — «ringed the city». Стандартные модели учитывают только звуки и слепы к грамматической разнице глаголов, требующих различного спряжения. Ключевое отличие здесь между простыми корнями, такими как «ring» в смысле звонить (прошедшее время «rang») и сложными глаголами, произошедшими от существительных, такими как «ring» в смысле окружить (прошедшее время «ringed»). Чтобы уловить эту разницу, лингвистическая система должна быть оборудована структурами связанных данных (например, «глагол, произошедший от существительного»), а не просто кучей разрозненных элементов.

Еще одна проблема — в том, что коннекционистские сети внимательно отслеживают статистику ввода: сколько глаголов каждой звуковой модели они встречали. Это не позволяет им рассчитывать на озарения, с помощью которых маленькие дети открывают правило «-ed» и начинают делать ошибки вроде «heared» и «holded». Создатели коннекционистских сетей могут заставить их так ошибаться, только бомбардируя сети правильными глаголами (чтобы буквально выжечь в них «-ed»), что совершенно не похоже на живой опыт реальных детей. И наконец, масса свидетельств, предоставленных когнитивной нейронаукой, показывает, что грамматические комбинации (включая правильные глаголы) и словарный поиск (включая неправильные глаголы) выполняются отдельными системами мозга, а не единственной ассоциативной сетью.

Не то чтобы нейронные сети были не способны уловить смысл предложения или выполнить задачу грамматического спряжения. (Лучше бы они это умели, потому что сама идея, что размышление — это форма нейронного вычисления, требует, чтобы какой-то вид нейронной сети повторял все, что может делать разум.) Проблема лежит в убежденности, что можно сделать что угодно с самой общей моделью, если правильно ее обучать. Многие исследователи усиливали, модернизировали или объединяли сети в более сложные и мощные системы. Они посвящали разделы нейронной сети абстрактным понятиям вроде «глагольная группа» или «утверждение», встраивали дополнительные механизмы (такие как синхронизированные паттерны импульсов), чтобы связать их в подобие составной рекурсивной системы символов. Они устанавливали пакеты нейронов для слов, или для английских суффиксов, или для основных грамматических признаков. Они строили гибридные системы: с одной нейросетью — для извлечения неправильной формы глагола из памяти и другой — для соединения глагола с суффиксом17.

Система, собранная из усиленных подсетей, может оказаться вне всякой критики. Но в этом случае мы уже не говорим об обычной нейронной сети! Мы будем говорить о сложной системе, в которой изначально заложены механизмы для выполнения задач, подвластных людям. В детской сказке «Каша из топора» главный герой просит разрешения воспользоваться котлом, чтобы сварить кашу из топора. Но затем, чтобы сделать кашу вкуснее, он добавляет все новые и новые ингредиенты и готовит сытное наваристое блюдо за счет скупой хозяйки. Разработчики коннекционистских сетей, претендующие на создание интеллекта на базе обычных нейронных сетей, не требуя чего-то существенного, занимаются тем же самым. Элементы дизайна, которые делают нейросеть умной — за что отвечает каждый нейрон, как они связаны друг с другом, какие типы сетей объединены в систему следующего уровня и каким образом, — отражают врожденную организацию моделируемой части разума. Обычно исследователь подбирает их вручную, подобно изобретателю, перетряхивающему коробку с диодами и транзисторами, но в настоящем мозге они могли развиваться благодаря естественному отбору (и архитектура некоторых сетей действительно создается с помощью симуляции естественного отбора)18. Единственная альтернатива состоит в том, что какие-то предыдущие эпизоды научения подготовили сеть к научению нынешнему, но, разумеется, нам придется в какой-то момент остановиться и признать некоторые врожденные характеристики самой первой сети, запустившей этот процесс.