всего срока их эксплуатации, и это должно быть верифицируемо». Или рекомендация 7: «Если система ИИ причиняет вред, должна существовать возможность установить причину», — из которой ясно, как важна прозрачность. Рекомендация 10: «Системы ИИ с высокой степенью автономности должны быть разработаны таким образом, чтобы их цели и поведение были согласованы с человеческими ценностями на всем протяжении работы» — в предложенной формулировке выглядит довольно расплывчато, но ей можно было бы придать смысл на практике, если бы от этих систем требовалась способность заявлять о намерениях и сообщать людям о причинах и следствиях.

Мой ответ на четвертый вопрос тоже положительный, он основан на ответе на пятый вопрос. Я верю, что мы научимся создавать машины, которые смогут отличать добро от зла, по крайней мере так же надежно как люди и, надеюсь, даже лучше. Первое требование к этичной машине — способность размышлять над собственными действиями, что подпадает под анализ контрфактивных суждений. Как только мы запрограммируем самосознание, пусть и ограниченное, эмпатия и справедливость последуют за ним, поскольку они основаны на тех же вычислительных принципах, когда в уравнение добавляется еще один агент.

Между причинным подходом к созданию этичного робота и подходом, который изучается и постоянно пересказывается в научной фантастике с 1950-х годов — законами робототехники Азимова, — существует принципиальное различие. Айзек Азимов предложил три абсолютных закона, начиная со следующего: «Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред». Но, как неоднократно доказывала научная фантастика, законы Азимова всегда приводят к противоречиям. Для ученых, занимающихся искусственным интеллектом, это неудивительно: системы, основанные на правилах, никогда не работают без сбоев. Но отсюда не следует, что создать морального робота невозможно. Просто подход здесь не может быть предписывающим и основанным на правилах. Отсюда следует, что мы должны обеспечить мыслящие машины теми же когнитивными способностями, которые есть у нас, включая эмпатию, долгосрочное прогнозирование и сдержанность, а затем позволить им принимать собственные решения.

Как только мы создадим робота с моральными принципами, апокалиптические видения постепенно перестанут нас пугать. Нет причины отказываться от создания машин, которые будут лучше нас отличать добро и зло, сопротивляться искушениям, признавать вину и заслуги. На этом этапе мы, подобно шахматистам и игрокам в го, даже начнем учиться у собственных творений. Мы сможем положиться на наши машины, когда нам понадобится ясно и причинно обусловленное чувство справедливости. Мы поймем, как работает наше собственное программное обеспечение, обеспечивающее свободу воли, и как ему удается скрывать от нас свои секреты. Такая мыслящая машина была бы прекрасным спутником для нашего биологического вида и действительно могла бы считаться первым и лучшим подарком человечеству со стороны искусственного интеллекта.

Благодарности

Перечислять всех учеников, друзей, коллег и учителей, которые внесли свой вклад в эту книгу, было бы равносильно написанию еще одной книги. Тем не менее, несколько игроков заслуживают особого упоминания, с моей личной точки зрения. Я хотел бы поблагодарить Фила Давида за то, что он дал мне мое первое прослушивание на страницах Biometrika; Джейми Робинса и Сандера Гренланди за то, что превратили эпидемиологию в сообщество, говорящее на графиках; покойного Денниса Линдли за то, что он дал мне уверенность в том, что даже опытные статистики могут распознать недостатки в своей области и сплотиться для ее улучшения; Крису Уиншипу, Стивену Моргану и Феликсу Элверту за вступление социальной науки в эпоху причинности; и, наконец, Питеру Спиртсу, Кларку Глимуру и Ричарду Шайнсу за их помощь в том, чтобы столкнуть меня с утеса вероятностей в бурные воды причинности.

Углубляясь в свою древнюю историю, я должен поблагодарить Джозефа Хермони, доктора Шимшона Ланге, профессора Франца Оллендорфа и других преданных своему делу учителей естественных наук, которые вдохновляли меня от начальной школы до колледжа. Они привили многим из нас, израильтян первого поколения, чувство миссии и исторической ответственности за проведение научных исследований как самой благородной и увлекательной задачи человечества.

Эта книга так и осталась бы пережитком принятия желаемого за действительное, если бы не мой соавтор Дана Маккензи, которая серьезно отнесся к моим желаниям и воплотил их в реальность. Он не только исправил мой иностранный акцент, но и повел меня в далекие страны, от кораблей военно-морского флота капитана Джеймса Линда до антарктической экспедиции капитана Роберта Скотта, добавив знания, истории, структуру и ясность к беспорядку математических уравнений, которые ожидали упорядочивающего повествования.

Я в большом долгу перед сотрудниками Лаборатории когнитивных систем Калифорнийского университета в Лос-Анджелесе, чьи работы и идеи за последние три с половиной десятилетия легли в научную основу этой книги: Алексом Балком, Элиасом Барейнбоймом, Блаем Бонетом, Карло Брито, Авином Ченом, Брайантом Ченом, Дэвидом Чикерингом, Аднаном Дарвичем, Риной Дехтер., Эндрю Форни, Дэвид Галлес, Гектор Геффнер, Дэн Гейгер, Мойзес Голдшмидт, Дэвид Хекерман, Марк Хопкинс, Джин Ким, Манабу Куроки, Трент Кионо, Картика Мохан, Азария Паз, Джордж Ребане, Илья Шпицер, Джин Тянь и Томас Верма. Финансирующие агентства получают ритуальную благодарность в научных публикациях, но слишком мало реального признания, учитывая их решающую роль в распознавании зародышей идей до того, как они станут модными. Я должен отметить постоянную и неизменную поддержку Национального научного фонда и Управления военно-морских исследований в рамках программы машинного обучения и разведки, возглавляемой Бехзадом Камгар-Парси.

Мы с Даной хотели бы поблагодарить нашего агента Джона Брокмана, который своевременно поддержал нас и воспользовался своим профессиональным опытом. Наш редактор Basic Books Ти Джей Келлехер задал нам правильные вопросы и убедил Basic Books в том, что такую амбициозную историю невозможно рассказать на 200 страницах. Наши иллюстраторы, Мааян Харел и Дакота Харр, сумели справиться с нашими иногда противоречивыми инструкциями и воплотили абстрактные сюжеты в жизнь с юмором и красотой. Каору Малвихилл из Калифорнийского университета в Лос-Анджелесе заслуживает большой похвалы за проверку нескольких версий рукописи и иллюстрации множества графиков и диаграмм. Дана будет вечно благодарен Джону Уилксу, который основал Программу научных коммуникаций в Калифорнийском университете Санта-Крус, которая до сих пор набирает обороты и является наилучшим возможным путем к карьере научного писателя. Дана также хотел бы поблагодарить свою жену Кей, которая поощряла его следовать своей детской мечте стать писателем, даже когда это означало поднять ставки, пересечь страну и начать все сначала.

Наконец, я в глубочайшем долгу перед своей семьей за их терпение, понимание и поддержку. Особенно моей жене Рут, моему моральному компасу, за ее бесконечную любовь и муд-рость. Моему покойному сыну Дэнни за то, что он показал мне молчаливую дерзость истины. Моим дочерям Тамаре и