Некоторые крупнейшие предприниматели и ученые говорят о еще более удручающих перспективах. Такие люди, как Илон Маск, Стивен Хокинг и Билл Гейтс, предупреждают нас, что технология может стать настолько сложной, что начнет преследовать собственные цели, отличные от задач ее создателей. Причину этой обеспокоенности сформулировали в 1993 г. Вернор Виндж в эссе «Технологическая сингулярность» (100) и в 2005 г. Рэй Курцвейл в книге «Сингулярность уже близка: когда люди выйдут за пределы биологии» (101), а также – совсем недавно – шведский философ Ник Бостром, работающий в Оксфордском университете (102). По мнению Бострома, опасения, что технология развивается настолько быстрыми темпами, что появление суперинтеллекта становится неизбежным, действительно существуют.

Суперинтеллект – это машина или комплекс машин, интеллектуальные способности которого намного превосходят возможности человека. Возникают сомнения: а вдруг высокоэффективный искусственный интеллект (ИИ) сможет существовать самостоятельно? ИИ-роботы будут создавать новые, еще более умные ИИ-роботы быстрее, чем человек. Если этот процесс будет запущен, первая версия робота сможет создать вторую, которая сможет конструировать еще более эффективные машины и т. д. Вам понятно, к чему это приведет? Футурологи предсказывают взрывное ускорение темпов разработки ИИ, сродни стремительному росту производительности в экономике, свидетелями которого мы являемся с начала промышленной революции. Машины становятся умнее со все возрастающей скоростью, а потому вскоре у нас появится суперинтеллект, значительно превосходящий способность человека мыслить и решать проблемы. Пессимисты считают, что появление сверхмозга сделает ситуацию непредсказуемой. Суперинтеллект будет эффективнее человека в достижении целей, поэтому, если цели машины и человека вдруг перестанут совпадать, судьба человечества может оказаться печальной.

Овладение новыми технологиями идет рука об руку с нашей эволюцией как вида. По утверждению Иэна Таттерсаля, почетного куратора Американского музея естественной истории в Нью-Йорке, «когнитивные способности и технология взаимно усиливали друг друга» по мере развития цивилизации (103). На протяжении всей нашей эволюционной истории генетические и технологические изменения шли параллельно. По мере того как наш мозг увеличивался в размерах от гоминидов к их потомкам, орудия труда усложнялись и становились более распространенными. Сначала наши предки использовали камни с острыми краями. Следующие поколения научились пользоваться огнем, делать каменные топоры и ножи, затем гарпуны и копья, потом сети, ловушки, капканы, тенета, лук и стрелы и, наконец, начали обрабатывать землю. Каждое из этих технологических достижений сопровождалось изменениями во всех других сферах (культурологическими, поведенческими и генетическими), которые в итоге привели к появлению современного человека. На каждом этапе происходило одновременное изменение орудий труда, культуры, когнитивной деятельности и генов, что создавало новый баланс, обеспечивавший нашим предкам большее могущество для преобразования окружающей среды в соответствии со своими потребностями. Цивилизация стала возможной благодаря новым технологиям, например появлению ирригационных каналов. Цивилизация породила множество разнообразных инструментов уже во времена античности и в конце концов достигла современного уровня с его взрывным развитием информационных технологий, которое началось в середине ХХ в. К счастью или к несчастью, общество и технология всегда подпитывают взаимную трансформацию.

Можно сказать, что люди созданы для восприятия технологических изменений. Наше тело и мозг устроены так, что мы способны использовать новые инструменты в работе, как будто они являются продолжением нашего тела (104). Мы быстро учимся перемещать курсор на экране с помощью мышки или сенсорной панели, как будто водим по экрану пальцем. Когда мы пишем ручкой или карандашом (если вы еще это делаете), то ощущаем поверхность бумаги, а не то, что на самом деле ощущают наши пальцы (давление пишущего инструмента). Это, в частности, позволяет хирургам выполнять микрохирургические операции с использованием роботов. Аналогично, когда мы подметаем пол, мы очень быстро привыкаем к длине метлы и практически сразу можем добраться щеткой до пола позади кровати, как будто древко служит продолжением нашей руки. Повар, специализирующийся на приготовлении суши, учится много лет, чтобы стать высококлассным мастером. Одним из главных признаков хорошего повара является умение работать ножом как собственной кистью.

Во всех этих примерах наш мозг относится к используемому нами инструменту так, как будто он является частью нашего тела. Поэтому нет ничего необычного в том, что мы говорим здесь о технологиях. Наоборот, использование технологий – один из ключевых элементов, сформировавших человека.

Однако за последние несколько лет произошли изменения, вызывающие у людей некоторый дискомфорт: дело в том, что современная технология уже не является просто инструментом, который контролирует пользователь. Во многих аспектах технология опережает нас. Фактически она становится настолько совершенной, что, кажется, существует как отдельно живущий организм. Мы выросли с уверенностью в том, что компьютер всегда будет выполнять одну и ту же операцию, пока исходные условия остаются прежними; в конце концов, компьютер всего лишь машина. Сейчас это уже неверно. Если представить, что мы и правда имеем дело с живым существом, следует признать, что мы не всегда знаем, какова будет реакция компьютера. Одна и та же команда, поданная вроде бы в одинаковых условиях, может инициировать разное поведение прибора.

Существует несколько причин, почему машины становятся непредсказуемыми. Одна из них – очень высокий уровень сложности. Системы стали настолько непонятными, что не всегда удается определить, в каком они состоянии. Вы думаете, что выключили телефон, его экран действительно погас. Но, когда вы клали его в карман, край материи коснулся экрана, и телефон взял да и позвонил вашей бывшей девушке.

Вторая причина состоит в том, что на машину непредсказуемым образом могут повлиять внешние воздействия. Подобно живому организму, интернет непрерывно изменяется в таких направлениях, которые мы не можем предвидеть и контролировать. Сейчас операционные системы и приложения компьютеров обновляются автоматически. Когда вы включаете компьютер, то, вообще говоря, у вас уже нет уверенности в том, что это тот самый прибор, на котором вы работали вчера. Текстовый процессор или программа электронной почты, с которыми вы каждые сутки проводите по двенадцать часов, могут измениться до неузнаваемости, подобно вашему шестнадцатилетнему сыну после его похода к другу, самозваному парикмахеру. Кроме того, непредсказуемость наших машин может зависеть от объема трафика в Сети, и обычно нам действительно неизвестно, насколько он интенсивен. Иногда сетевой трафик просто блокирует наше интернет-соединение. Подобно тому как ребенок развивается и превращается в непредсказуемого в своем поведении подростка, так и наши любимые машины становятся все менее предсказуемыми, и мы не всегда знаем, что они собираются сделать.

Одним из признаков того, что интернет становится похож на человека, заключается в том, что Сеть часто пытается обмануть нас и даже преуспевает в этом. Мы ожидаем, что сетевая ссылка отправит нас к интересному видео, но вместо этого получаем предостережение, что нужно обратиться в компанию, которая почистит наш жесткий диск, иначе случится беда. Или заходим на нужный сайт и неожиданно «ловим» вирус. Конечно, это не ошибка компьютера как такового, а результат умышленных действий людей. Но дело в том, что сложность техники такова, что она допускает возможность подобных целенаправленных вредных действий.