исключена, например, ситуация, когда микрочипы, выдерживающие тест на пригодность, имеют низкое значение Φ, а те, что, согласно предсказаниям ОИТС, способны поддерживать сознание, не работают в нейронных протезах человеческого мозга.

Принцип предосторожности – это знакомый каждому этический принцип. В соответствии с ним если существует вероятность того, что некая технология вызовет катастрофические последствия, то лучше перестраховаться, чем потом сожалеть. Прежде чем приступать к созданию технологии, которая потенциально может иметь такие последствия для общества, желающие ее разрабатывать должны доказать, что она не приведет к катастрофе. Осторожное мышление имеет давнюю историю, хотя сам принцип был сформулирован относительно недавно. Доклад «Запоздалая реакция на раннее предупреждение» приводит в пример врача, который во время вспышки холеры в Лондоне в 1854 г. рекомендовал снять рукоятку насоса водоразборной колонки в эпицентре заболевания. Хотя признаки причинной связи между тем насосом и распространением холеры были косвенными, эта простая мера эффективно остановила распространение заразы[54]. Если бы на признаки потенциальной опасности асбеста обратили внимание сразу, это помогло бы спасти массу жизней, хотя в то время наука еще многого не знала. Согласно докладу UNESCO/COMEST, принцип предосторожности уже стал основой для множества договоров и деклараций в области защиты окружающей среды, устойчивого развития, продовольственной безопасности и здравоохранения[55].

Я уже указывала на возможные этические последствия возникновения синтетического сознания и подчеркивала, что мы сейчас не знаем, будут ли созданы самосознающие машины и каково будет их влияние на общество. Нам необходимо разработать тесты для машинного сознания и исследовать влияние сознания на другие ключевые свойства системы, такие как эмпатия и лояльность. Принцип предосторожности подсказывает, что не следует слишком торопиться с разработкой сложного искина, не поняв, насколько он безопасен, поскольку случайное или намеренное создание самосознающих машин может породить экзистенциальные или катастрофические риски для человечества – от непредсказуемого сверхразума, который заменит людей, до слияния человека и машины, при котором человеческое сознание ослабнет или просто угаснет.

В свете этих возможностей я хочу предложить шесть рекомендаций. Во-первых, мы должны продолжить работу над этими тестами и применять их везде, где это возможно. Во-вторых, в случае сомнений в наличии сознания у того или иного искина не следует использовать его в ситуациях, где он потенциально может нанести катастрофический вред. В-третьих, если есть основания предполагать наличие сознания у искина, даже при отсутствии достоверных тестов, то в соответствии с принципом предосторожности на него следует распространить юридическую защиту, которой пользуются другие одушевленные существа. Насколько нам известно, самосознающий искин способен страдать и испытывать целый ряд эмоций, подобно животным. Исключение самосознающих искинов из этических схем означало бы дискриминацию по видовому признаку. В-четвертых, представьте себе искинов с «маркерами» сознания (т. е. таких, которые обладают лишь косвенными признаками сознания). Это могут быть, например, искины, построенные на чипах, испытываемых на пригодность, или искины, обладающие когнитивным сознанием. В проектах, где задействованы искины с маркерами сознания, могут, насколько нам известно, появиться по-настоящему самосознающие искины, даже если они не выдерживают ACT-тест. До тех пор пока мы не узнаем наверняка, обладают ли сознанием эти системы, нам в соответствии с принципом предосторожности лучше всего относиться к ним как к обладающим сознанием.

В-пятых, я советую разработчикам ИИ следовать предложению философов Мары Гарцы и Эрика Швицгебеля и избегать создания искинов в тех случаях, когда нельзя точно сказать, будут ли они обладать сознанием. Следует создавать только искинов с понятным моральным статусом, так или иначе. Как подчеркивают Гарца и Швицгебель, ставки в том случае, если мы распространим этическую защиту на искины, которые лишь могут обладать сознанием и могут заслуживать прав, слишком высоки. Представьте, например, что есть три андроида, которые могут обладать сознанием, и мы наделяем их равными правами. Но при транспортировке они попадают в аварию, и у нас есть возможность спасти либо машину с тремя андроидами, либо машину с двумя людьми. Мы спасаем андроидов и обрекаем людей на смерть. Такая ситуация будет особенно трагичной, если эти андроиды на самом деле не обладают сознанием. Люди умерли, а андроиды на самом деле не заслуживали этих прав. В свете таких рассуждений Гарца и Швицгебель рекомендуют придерживаться «принципа исключенного среднего»: нам следует создавать только таких существ, моральный статус которых ясен так или иначе. Тогда мы сможем избежать рисков предоставления как слишком ограниченных, так и слишком широких прав[56].

Принцип исключенного среднего представляется мне важным и заслуживающим внимания, но он может оказаться применимым не во всех случаях. Пока мы не поймем в достаточной мере, какие системы обладают сознанием – если, конечно, такие имеются, – а также влияет ли и как именно влияет сознание на общее функционирование системы, нельзя сказать, хорошая ли это идея – заранее исключать все промежуточные искины. Кто знает, не окажется ли какой-нибудь искин из этой категории ключевым для национальной безопасности или даже для безопасности самого ИИ. Возможно, самые сложные квантовые компьютеры окажутся именно в промежуточной зоне, по крайней мере поначалу. Для некоторых организаций отказ от энергичного внедрения квантовых вычислений породил бы риски кибербезопасности и стал бы стратегическим недостатком. (Более того, маловероятно, что глобальное соглашение об исключении средних случаев можно реализовать в ситуации, когда обладание этой технологией имеет гигантскую стратегическую ценность.) В этих ситуациях у некоторых организаций, возможно, не останется выбора, кроме как разрабатывать системы среднего уровня, если выяснится, что они безопасны. В подобных случаях, как я уже указывала, лучше всего обращаться с искинами так, как если бы они обладали сознанием.

Это подводит меня к шестой и последней рекомендации: если мы все же решим использовать искин среднего уровня, нам следует по возможности избегать ситуаций, связанных с принятием этических компромиссов в ущерб другим обладателям прав. Было бы обидно пожертвовать самосознающими существами ради устройств, не обладающих сознанием.

Все это, возможно, выглядит излишним, поскольку самосознающие искины кажутся научной фантастикой, но, когда речь заходит о продвинутом ИИ, мы неизбежно сталкиваемся с рисками и проблемами, выходящими далеко за пределы наших нормальных представлений.

Исследуем идею слияния разума и машины

Хотя успешное использование ИИ-технологий, очевидно, требует прочной научной базы, для их надлежащего применения необходимы также философские размышления, междисциплинарное сотрудничество, тщательное тестирование и общественная дискуссия. Все эти вопросы невозможно разрешить при помощи одной только науки. Из последующих глав этой книги станет ясно, что учет этого общего соображения и в других отношениях может стать ключом к нашему будущему.

Вспомните, например, ошибку Джетсонов. ИИ не только поможет нам создать более совершенных роботов и более мощные суперкомпьютеры. ИИ нас преобразит. Искусственный гиппокамп, нейронное кружево,