от мира, в котором живет тело пользователя (вспомните, как контактные XR-линзы Айко виртуально «переносили» ее в Альпы во время тренировки на велотренажере).

Дополненная реальность (AR — augmented reality), в отличие от виртуальной, основана на реальном мире, в котором пользователь находится физически: она фиксирует объекты этого мира с помощью камеры и накладывает поверх этого изображения еще один, свой, слой. AR-алгоритмы наслаивают контент (3D-объекты, текст, видео и так далее), создавая «линзу», обеспечивающую пользователю «экстрасенсорный» взгляд на все, что его окружает.

Скажем, турист в незнакомом городе может спросить систему AR, какие тут поблизости достопримечательности, и система, наложив на реальные улицы «линзы» с текстом, подскажет, что стоит посмотреть. В нашей истории Айко вызывает такие подсказки и разные справочные материалы, и они как бы плавают перед ней в воздухе, а она видит их через свои контактные XR-линзы — это и есть технология AR. (Если вы киноман, то вспомните, как OASIS превращает Саманту в Art3mis в фильме «Первому игроку приготовиться»[60].)

В последние годы появилась еще одна технология — смешанная реальность (MR — mixed reality), представляющая собой более продвинутую форму AR. MR объединяет виртуальность и реальность, формируя гибридный мир. Однако синтезированные виртуальные MR-среды — это не просто сумма реального и виртуального, это более сложная, интегрированная среда, созданная путем полной декомпозиции и последующей интерпретации сцены, обеспечивающей интерактивное взаимодействие пользователя с содержащимися в ней объектами.

В рассказе «Мой призрачный кумир» MR органично интегрирует фантом в среду кухни Айко и в тренажерный зал (не говоря уже об улицах Токио). Созданный образ настолько реалистичен, что под пристальным взглядом «Хироси» девушка смущается и краснеет.

Чтобы нормально функционировать, MR должна хорошо разбираться и в среде, и в объектах, и в людях внутри этой среды. Например, знать, что такое холодильник и как он устроен — только так виртуальный Хироси сможет открыть дверцу и появиться перед Айко в «холодном водянистом тумане».

Уровень понимания смешанной реальностью окружающей среды, описанный в этом рассказе, выходит за рамки сегодняшнего компьютерного зрения, но есть все основания ожидать, что в течение двух следующих десятилетий мы его достигнем.

Айко в рассказе чувствует себя без контактных XR-линз «как без рук». Полагаю, уже скоро так будут ощущать себя очень многие.

Технология MR пока еще в зачаточном состоянии, но уже сегодня мы видим позитивную и устойчивую траекторию ее прогресса. Я предсказываю: к 2041 году технологии компьютерного зрения научатся раскладывать сцену на составные части и понимать их роль.

Кроме того, по моим прогнозам, MR разовьет способность добавлять в среду новые виртуальные объекты, представляя их так, будто они подчиняются законам физики материального мира. Они станут выглядеть настолько естественно, что сценарии, представленные в «Моем призрачном кумире», перестанут казаться фантастикой.

ТЕХНОЛОГИИ VR/AR/MR (XR): ВСЕ ОРГАНЫ ЧУВСТВ

Иммерсивный опыт, опыт погружения, дает пользователю ощущения как в реальной жизни — при этом невозможно отличить «настоящее» от «синтезированного». По сути, нам нужно обмануть самый чувствительный человеческий орган — глаз.

Помните, как в AR-игрушке Pokеmon Go[61] экран телефона служил окном в реальный мир с синтетическими персонажами мультфильмов? Гироскопы и датчики движения гаджета изменяли угол зрения геймера и даже позволяли ему взаимодействовать с происходящим в игре. Игра была новинкой и поэтому стала чрезвычайно популярной, но пользовательские возможности ограничивал размер экрана мобильных устройств. Игрушка не была полностью иммерсивной и не произвела революции в пользовательском опыте.

Гораздо более реалистичный и масштабный опыт глубокого погружения обеспечивают шлемы или очки виртуальной реальности, хотя вернее было бы называть их наголовными дисплеями (HMD — head-mounted displays). В HMD на два экрана синхронно поступают изображения одного объекта, но с чуть разных ракурсов — точно так же работают глаза человека, обеспечивая объемное зрение. HMD тоже обеспечивает объемное изображение (как специальные очки для просмотра программ 3D-телевизоров или фильмов в 3D-кинотеатрах).

XR-опыт иммерсивен и интерактивен. Для глубокого погружения требуется поле зрения не менее 80 градусов (но лучше — шире). Для обеспечения интерактивности необходимо, чтобы каждое незначительное движение пользователя (поворот головы, изменение позы) меняло картинку, пользователь при этом должен увидеть что-то новое — другое или по-другому.

Экран HMD обычно непрозрачный, сквозь него ничего не видно — вся выведенная на него картинка синтезирована. А вот наголовные дисплеи для AR и MR снабжены прозрачными линзами (напрямую или оптически), при этом реальный (видимый) мир смешивается с синтезированными объектами, и лишь затем изображение попадает в глаза пользователя. В нашем рассказе такие очки надеты на пареньке в тренажерке — он переключает их из режима MR в режим VR, и его линзы становятся непрозрачными.

Первое иммерсивное устройство создали много десятилетий назад. Ранние гаджеты были неуклюжими, тяжеленные HMD-шлемы подключали к рабочей станции или серверу-мейнфрейму кабелями. Тогда еще не было ни смартфонов, ни подходящих беспроводных технологий, поэтому без высокопроизводительных отказоустойчивых компьютеров, скоростных (с высокой пропускной способностью) кабелей и больших (а оттого тяжелых) дисплеев, установленных на еще более неуклюжих HMD, обойтись было невозможно.

Эта кондовая конфигурация была крайне неудобной, непривлекательной и не нашла коммерческого применения, однако сыграла (и продолжает играть до сих пор) очень важную роль: она обеспечила ученых лабораторной средой для тестирования и совершенствования этих технологий.

В последние несколько десятилетий в работе сетей произошел серьезный прорыв — разрешились проблемы частоты обновлений и времени ожидания. Появился Wi-Fi (технология беспроводной локальной сети) и технология мобильной связи 5-го поколения (обеспечивается частотным стандартом 5G) — мобильные устройства стали беспроводными.

Электроника и технологии позволили уменьшить HMD до размера обычных очков. Функции суперкомпьютеров-мейнфреймов взяли на себя микросхемы, вмонтированные непосредственно в устройство HMD. Наступила эра коммерциализации XR.

Конечно, не все было гладко. В 2015 году компании, разрабатывающие AR/VR-приложения, стали чрезвычайно популярными объектами для инвестиций, но впоследствии многие знаменитые стартапы потерпели крах. С продуктами мейнстримовых компаний тоже не все было в порядке, что очень заметно снизило популярность этих технологий.

Один из продуктов, которому удалось пережить «пузырь» AR/VR, — очки смешанной реальности HoloLens компании Microsoft. Это мощное, довольно удобное устройство весом чуть более 500 граммов (зависит от модели), похожее на большие очки для подводного плавания. Очевидный минус — запредельная цена, невольно наводящая на мысль о «налоге на дураков».

HoloLens относят к вертикальным бизнес-приложениям, то есть предназначенным для конкретной отрасли, в первую очередь для образования, здравоохранения и аэронавтики. Программный продукт, применение которого предполагает использование шлемов и огромных специфического вида очков, не может стать повседневным и массовым, в отличие, скажем, от умных часов Apple Watch.

Дизайнеры пытались сделать так, чтобы человек в AR/VR-гаджетах не выглядел по-дурацки, им даже придали вид обычных очков. Все попытки оказались неудачными, но,