не противоречит, то достигнет ли когда-нибудь человечество технического уровня, достаточного для его создания? Да и захочет ли этим заниматься?

Говоря о том, возможны ли номологические (т. е. без нарушения законов природы) события, описанные мысленным экспериментом, отметим, что мы в настоящее время не знаем, способны ли другие материалы воспроизвести ощущаемое качество ментальной жизни. Возможно, мы узнаем это довольно скоро, когда врачи начнут использовать медицинские импланты на основе ИИ в тех частях мозга, которые отвечают за осознанные переживания.

Одна из причин, по которым это может оказаться неосуществимым, состоит в том, что осознанные переживания, возможно, зависят от квантово-механических свойств мозга. Если это так, то наука никогда не получит той информации о мозге, которая необходима для создания истинной квантовой копии вашей личности, – ведь квантовые ограничения, касающиеся измерения частиц, не позволят нам узнать точные свойства мозга, требующиеся для создания настоящего изоморфа.

Но давайте, для целей нашего разговора, считать, что создание изоморфов возможно как концептуально, так и номологически. Будут ли люди их создавать? Я сомневаюсь в этом: превращение человека в обладающий сознанием ИИ путем последовательного совершенствования потребовало бы намного большего, чем изготовления нескольких нейронных протезов. Разработка изоморфа требует научных прорывов такого масштаба, который позволил бы заменить все части мозга искусственными компонентами.

Более того, развитие медицины в ближайшие десятилетия вряд ли приведет к появлению мозговых имплантов, точно воспроизводящих вычислительные функции групп нейронов, а наш мысленный эксперимент требует, чтобы все части мозга были заменены их точными копиями. К тому времени, когда эта технология будет разработана, люди, скорее всего, предпочтут расширять свои возможности, а не становиться изоморфами своего прежнего «я»[33].

Даже если бы люди ограничились копированием способностей вместо того, чтобы совершенствовать их, то как бы нейробиологи подошли к этой задаче? В первую очередь исследователям потребовалось бы полное описание работы мозга. Как мы уже видели, программисты должны распознать все абстрактные, причинно-следственные черты, которые влияют на обработку информации системой, не полагаясь при этом на низкоуровневые свойства, не имеющие значения для вычислений. Отметим, что определить, какие свойства важны, а какие нет, не так просто. Как насчет гормонов мозга? Глиальных клеток? Даже если бы информация такого рода была под рукой, несложно представить, что работа программы, эмулирующей мозг со всей точностью и полнотой, потребовала бы гигантских вычислительных ресурсов, которые вряд ли появятся в ближайшие десятилетия.

Может быть, коммерческий императив создания изоморфов даст толчок построению более сложных искинов? Сомневаюсь. Нет оснований считать, что самым эффективным и экономически разумным способом получения машины для выполнения определенного класса задач является обратное проектирование и точное копирование мозга. Взгляните, например, на искины, выигрывающие у чемпионов мира по го, шахматам и игре Jeopardy! Они превосходят человека за счет методов, совершенно непохожих на те, что используют в соответствующей игре люди.

Вспомните, с чего мы начали разговор об изоморфах. По идее, они должны были сказать нам, могут ли машины обладать сознанием. Но, когда дело доходит до определения, будут ли машины, которые мы реально сможем сконструировать в ближайшем будущем, обладать сознанием, изоморфы становятся скорее отвлекающим фактором. ИИ достигнет продвинутого уровня задолго до того, как изоморфы хотя бы приблизятся к реализации. На этот вопрос необходимо ответить раньше, особенно с учетом тех соображений этики и безопасности в отношении ИИ, о которых я говорю.

Таким образом, вера технооптимистов в перспективы искусственного сознания опирается, в сущности, на ошибочную цепочку рассуждений. На их взгляд, машины смогут обрести сознание, поскольку нам известно, что мозг обладает сознанием, и мы могли бы построить его изоморф. Но никто не знает на самом деле, действительно ли мы сможем когда-либо это сделать – да и захотим ли. Ответ на этот вопрос нужно искать эмпирически, и перспектива того, что мы действительно будем это делать, сомнительна. К тому же он бесполезен в смысле того, что мы реально хотим узнать, а именно – обладают ли сознанием другие ИИ-системы, не являющиеся результатом изоморфного копирования мозга.

Нам уже сейчас жизненно важно определить, могут ли мощные автономные системы обладать сознанием или обрести его в ходе дальнейшего развития. Не забывайте, сознание в зависимости от особенностей архитектуры системы может по-разному влиять на этическое поведение машины. В контексте одного типа ИИ-систем сознание может повышать непредсказуемость машины. В другом случае оно может сделать ИИ более отзывчивым. Сознание даже в рамках одной системы может по-разному влиять на ключевые системные качества, такие как IQ, эмпатия и целостность содержания цели. Важно, чтобы текущие исследования принимали во внимание все возможные варианты. Например, тестирование на раннем этапе и выявление сознания может привести к созданию продуктивной среды «искусственного фронезиса» – освоению машиной этических норм путем привития их людьми в надежде «воспитать» машину с верными моральными ориентирами. Искины следует исследовать в ограниченных контролируемых средах в поисках признаков сознания. В случае обнаружения сознания необходимо будет изучить его влияние на архитектуру конкретной машины.

Для получения ответов на эти насущные вопросы нужно идти дальше простейших мысленных экспериментов с точной заменой нейронов, какими бы увлекательными они ни были. Хотя такие эксперименты полезны и помогают разобраться с концептуальной возможностью искусственного сознания, как я уже отмечала, они мало что говорят о перспективах создания обладающих сознанием искинов в реальности и о природе таких систем.

Мы поговорим об этом в главе 3. Там я оставлю в стороне чисто философские дебаты и применю другой подход к вопросу о том, возможно ли создать ИИ, обладающий сознанием, с учетом как законов природы, так и технических достижений человечества. Технооптимисты считают, что да; сторонники биологического натурализма отвергают такую возможность начисто. Я же осмелюсь утверждать, что ситуация здесь намного, намного сложнее.

Глава 3

Проектирование сознания

Как только мы насытим материю и энергию во Вселенной интеллектом, она «проснется», обретет сознание и невероятный разум. Это настолько близко к понятию Бога, насколько я могу представить.

РЭЙ КУРЦВЕЙЛ

Машинное сознание, если оно в принципе существует, может обнаружиться вовсе не в тех роботах, которые цепляют струны нашей души, как R2-D2[34]. Оно, возможно, будет обитать в какой-нибудь совершенно несексуальной серверной в подвале здания факультета информатики Массачусетского технологического института. А может быть, оно появится в какой-нибудь сверхсекретной военной программе и будет в конечном итоге выключено как слишком опасное или неэффективное. Искусственное сознание будет зависеть, скорее всего, от явлений, которые мы в настоящее время не можем даже вообразить, например от правильности конфигурации микрочипа, который еще только предстоит изобрести, или желания разработчиков и публики