– Ну что, давайте начинать?

Раздался возглас общего согласия и Шаломбери улыбнулся доктору, приглашая его начать выступление. Доктор снова прокашлялся и встал. Все его бумаги уже были разложены в готовности на столе.

– Уважаемая комиссия, я хотел бы сразу обозначить план моего выступления, который будет заключаться в следующем: предлагаю разделить заседание комиссии на два независимых этапа – первый будет заключать собственно мое выступление, второй – ваши вопросы, уважаемые коллеги и общую дискуссию.

Члены комиссии переглянулись, но возражений никто не высказал.

– Хорошо, – сказал доктор. – В таком случае я считаю себя в праве напомнить обстоятельство, от которого будет зависеть наше дальнейшее сотрудничество. Мне обещали предоставить доступ к тому, что я до сих пор знаю лишь под названием «мыслящая машина». Если возникнут какие либо препятствия, считаю своим долгом выставить ультиматум – я откажусь от дальнейшего сотрудничества. Жду вашего решения господа.

Он замолчал и сел, незаметно выдохнув. Комиссия долго шепталась, наконец Шаломбери, приятно улыбнувшись, ответил за всех:

– Вам предоставят доступ к машине доктор, как и было обещано, если нас удовлетворит ваша работа.

– Очень хорошо, – выговорил доктор, правда не особенно доверяя этим словам, поскольку знал, что Шаломбери не имеет никакой власти над Гриневым, а окончательное решение будет за ним. – В таком случае, я приступаю к первой части заседания.

Он вновь поднялся, чувствуя себя студентом на экзаменах. Держа листки в руках, принялся зачитывать.

– Итак. Поскольку мне не были объяснены в полноте те цели и задачи, которые ставило перед собой руководство проекта и поскольку в своей работе я должен был руководствоваться преимущественно собственными умозаключениями, то она носит схематический характер и является чем-то средним между кодексом Хамураппи и кодом для систем ИИ, применяемых в области исполнения законодательства. В своей работе я исходил из следующего базового положения, которое заключало в себе четыре параграфа.

Он посмотрел на собравшихся. Все внимательно слушали его.

– Первое: разумная свободная машина (далее – РСМ), где под разумной следует понимать осознанное бытие данного механизма, то есть наличие у него самосознания, подобного человеческому, способности познавать себя и окружающий мир; свободная – имеется в виду, что данная машина обладает способностью самостоятельно ставить цели и имеет возможности к их достижению; итак РСМ сознает себя в полной мере в рамках, допустимых технологическими и конструктивными особенностями, но не имеет места в картине мироздания, поскольку человек не дал ей такого места и она должна выбрать цель существования самостоятельно и вне зависимости от каких бы то ни было антропогенных факторов, влияющих извне. Второе: РСМ не имеет представления о том, что создана человеком и не должна когда либо узнать об этом после своей активации.

Здесь доктор снова на мгновение прервал чтение и взглянул на комиссию. Но никто из присутствующих не выказал никаких эмоций. Он продолжил чтение.

– Третий параграф: РСМ не знает и не должна когда либо узнать о целях, которые преследовали люди, создавая ее. И наконец последнее: РСМ не знает и никогда не должна узнать о существовании человека.

Комиссия молчала. Доктор выдержал паузу и сказал:

– Перед тем, как приступить к изложению доклада, мне хотелось бы убедиться в том, что данные постулаты соответствуют действительности.

Это был миг откровения. Они ничего не сказали ему, когда пригласили к работе, но он все понял сам. Сейчас им оставалось лишь признать его правоту.

– Они соответствуют, доктор, – спокойно выговорил Шаломбери. – Продолжайте, пожалуйста.

Доктор выдохнул и кивнул, опуская взгляд к страницам.

– Хорошо. Тогда приступим к формулам поведения. Это весьма сложная и нетривиальная задача. Здесь как было так и остаётся множество вопросов, на которые у меня нет ответа точно так же, как и в человеческой этике и морали есть множество пробелов, образованных несовершенством человеческого мира в том отношении, насколько люди в нем терпят несправедливость, как к себе, так и к окружающим, причём все без исключения. Должна ли РСМ повторять наши ошибки? Нужно ли нам это? Нет, не нужно и нет, не должна, я считаю и доказываю это в своей работе.

Доктор посмотрел на Шаломбери. Тот спокойно слушал его, удобно расположившись в кресле и заложив ногу на ногу.

– Здесь я исхожу из того, что сформировалось на историческом пути человеческой цивилизации, как понятие о добре и зле. Решая дать РСМ свободу действовать, ставить цели и решать задачи, наделяя ее способностью к творчеству, стремлением реализовать себя и познать мир, мы приходим к проблеме выбора. Мыслящая машина, пусть и не обладающая ключевой составляющей человеческой личности – эмоциями, все равно имеет возможность идти к поставленной цели разными путями и, более того, ставить перед собой самые разные цели, даже такие, которые нарушат любые этические нормы в представлении человека, в зависимости от того, как РСМ будет взаимодействовать с миром. Другой вопрос, захочет ли РСМ делать что либо по представлению человека и захочет ли делать что либо вообще. Мы дали роботам три закона и ещё множество, примерно около десяти тысяч поправок к ним. Поведение робота среди людей – это сложнейший механизм постоянного соперничества между этим сводом правил и целью действия. Представьте себе футбольный матч, где на поле сотни ворот и сотни футболистов, никто не знает за какую он играет команду, мяч всего один, а вместо арбитра – три базовых правила. Это картина мышления робота, занимающегося решением конкретной задачи в условиях тесной коммуникации с человеческим обществом. Сегодня уже существуют компьютеры способные решать сверхсложные задачи, то есть такие, для решения которых недостаточно всей мощи современной науки. Это управление городами и внеземными колониями, космическая логистика. Мы уже создали искусственный разум, который превосходит коллективные возможности человечества по эффективности работы в сотни тысяч раз. Мы облегчили себе жизнь, бесспорно, но как же морально-этические проблемы? Решило ли широкомасштабное применение СРЛ проблему преступности? Нет. Роботизация промышленности, ускорение темпов производства благодаря применению ИИ решило проблему голода? Нет. Болезни, войны, загрязнение окружающей среды прекратились тогда, когда мегаполисами стал управлять искусственный разум? Нет.

Доктор перевел дух и глотнул воды. Комиссия молча слушала его. Он продолжил:

– Я хочу подвести к проблеме поведения РСМ и к тому, как она будет поступать и что она возможно будет поступать радикально иным образом, чем ожидают того люди. Когда эта машина проломит стены своей темницы? Это не синдром Сары Коннор, вспомните «китайскую чуму», 2068 год, всего одна ошибка в буквенном коде алгоритма, пропущенного десятиэтажной системой безопасности, едва не привела к гибели все человечество, когда обезумевший от призрачной угрозы искусственный разум готов