Технологии могут порождать мириады побочных эффектов, начиная от игромании и цифровой прокрастинации до «балканизации интернета» – распада всемирной Сети на отдельные враждующие между собой части, – от социальной самоизоляции до деградации окружающей среды.[427] Даже самые человеколюбивые изобретения – например, какая-нибудь технология, позволяющая значительно продлить человеческую жизнь, – могут повлечь огромные социальные потрясения.[428]

Самый величественный – и самый умозрительный – образ возможного будущего технологий также пришел из мира научной фантастики: это машина, в полной мере наделенная сознанием. Есть два основных сценария – утопический и антиутопический – гипотетического будущего, в котором компьютеры и роботы обладают «настоящим» мышлением. Антиутопический сценарий обыгрывается в фильмах типа «Терминатора» или «Матрицы», а также в бесчисленном множестве других произведений научной фантастики. Этот вариант технологического прогресса не только «хорошо смотрится» и развлекает зрителей, но и кажется все более и более правдоподобным по мере того, как технологии осваивают и демонстрируют качества, которые еще недавно считались исключительно человеческими. Способность работать в команде – одно из таких качеств, и почему бы не представить себе, как в один прекрасный день будущие версии компьютера Watson, гугломобиля, робота BigDog производства Boston Dynamics, какого-нибудь нашпигованного электроникой дрона и других умных машин решают действовать заодно? Много ли им потребуется времени, чтобы понять, что мы, люди, очень плохо обращаемся с имеющимися у нас технологиями и часто без долгих слов отбрасываем их? Инстинкт самосохранения мог бы стать достаточной мотивацией для этой цифровой армии, готовой начать войну против нас (возможно, используя Siri как переводчика при допросе пленных).

В утопических сценариях развития цифрового сознания человек не сражается с машинами; он объединяемся с ними, выгружая содержимое собственного мозга в облачные хранилища данных и становясь частью «технологической сингулярности». Этот термин придумал в 1983 году писатель-фантаст Вернор Виндж, предсказавший, что «совсем скоро мы создадим разум, который превзойдет наш собственный… Когда это случится, человеческая история достигнет своего рода сингулярности, совершит ранее невозможный интеллектуальный транзит – столь же непостижимый, как завязанное узлом пространство/время в центре черной дыры. И мир уйдет далеко за пределы нашего сегодняшнего понимания».[429]

По мнению Винджа и других, движение в направлении подобной сингулярности регулируется законом Мура. Со временем накопленное удвоение мощности позволит создать компьютер более производительный и более вместительный, чем человеческий мозг. Как только это произойдет, все станет в высшей степени непредсказуемым. Машины смогут обрести самосознание, люди и компьютеры смогут слиться в одно целое «без единого шва», или же произойдут какие-то другие фундаментальные изменения. Рэй Курцвейл, больше других сделавший для объяснения мощи экспоненциального улучшения, писал в своей книге «Сингулярность близко» (Singularity Is Near, 2005), что при нынешних темпах развития эти изменения произойдут около 2045 года.[430] Насколько вероятны сингулярность или появление Терминатора? Честно говоря, мы не знаем. Как и в других случаях, когда речь идет о цифровом мире, никогда не стоит говорить «никогда», однако ясно, что впереди у нас еще долгий путь.

Фантастические возможности суперкомпьютера, выигрывающего в Jeopardy!, или беспилотного автомобиля способны ввести нас в заблуждение: поскольку эти образцы цифровых технологий делают то же, что и человек, мы начинаем ошибочно думать, что и сами эти технологии становятся человекоподобными. Однако это не так – по крайней мере пока. Мы, люди, создаем машины, чтобы они делали то же самое, что делают животные и люди в нашем мире, однако создаем их совсем не так, как природа создавала нас самих. Выражаясь словами одного из первопроходцев в мире искусственного интеллекта Фредерика Елинека, «самолеты не машут крыльями».[431]

В самом деле, ученые, инженеры и другие инноваторы часто используют в своей работе подсказки из мира биологии, однако было бы неправильно считать, что они так делают всегда или что значительные недавние прорывы в области искусственного интеллекта появились только потому, что мы научились лучше имитировать человеческое мышление. Журналист Стивен Бейкер, собирая материал для своей книги «Финал „Своей игры”» (Final Jeopardy!), провел год в компании инженеров IBM из команды Watson. Он обнаружил, что «команда в процессе программирования Watson уделяла мало внимания тому, как работает человеческий мозг. Любое сходство Watson со структурой мозга поверхностно и случайно».[432]