Ниже мы опишем один реальный случай. Сваливание самолета в штопор происходит, если его скорость движения относительно воздуха слишком мала и не обеспечивает достаточную подъемную силу для удержания воздушного судна в полете. В случае сваливания в штопор самолет фактически падает. Чтобы выйти из штопора, нужно направить нос самолета вниз и увеличить тягу двигателей для достижения скорости, которая обеспечит достаточную подъемную силу, чтобы самолет прекратил падение. Выход из штопора – один из основных технических навыков, которыми будущие летчики овладевают в летной школе. В 2009 г. в океан упал аэробус компании Air France, выполнявший рейс 447; погибли 228 человек. После расшифровки записей черного ящика члены комиссии, расследовавшей причины катастрофы, пришли в шоковое состояние. Оказалось, что Airbus A330 начал сваливаться и падать. По непонятной причине второй пилот вместо того, чтобы опустить нос корабля, попытался поднять его. Как это могло случиться? В докладе, подготовленном в 2013 г. по поручению Федеральной администрации гражданской авиации США, говорится о том, что пилоты слишком понадеялись на автоматику, что у них не было необходимых навыков ручного пилотирования и они не смогли принять правильное решение в нештатной ситуации. Вполне возможно, что у членов экипажа даже не возникала мысль, что такой самолет может свалиться в штопор, и они неправильно оценили предупреждающие сигналы, посылаемые оборудованием. Это прекрасный пример проявления парадокса автоматизации. Оборудование самолета было настолько значимым, что, когда оно вышло из строя, пилоты как команда не поняли, что нужно делать (110).

Поскольку GPS-устройства сейчас распространены очень широко, наверное, и вы уже сталкивались с парадоксом автоматизации. Некоторые люди полностью доверяют этим устройствам и выполняют все их рекомендации, забывая при этом, что GPS-устройства не понимают, что вам нужно, а просто следуют заложенным в них программам. Известно много случаев, когда водитель въезжал в водоем или летел с обрыва, потому что слишком доверял своему GPS-навигатору (111).

В 1995 г. круизный лайнер Royal Majesty плыл мимо острова Нантакет, находящегося у побережья штата Массачусетс (112). От сильного порыва ветра нарушился контакт кабеля, соединявшего GPS-устройство корабля с его антенной. К несчастью, экипаж не понял, что случилось. GPS-устройство выдавало сообщение об ошибке (с GPS-экрана раздавался легкий «щебет»), но никто не обратил на него внимания. При отсутствии спутниковых данных GPS-система через небольшой промежуток времени перешла в предусмотренный для такого случая режим работы, а именно переключилась на навигационное счисление (определение местонахождения на основании предыдущего положения, оценочной скорости, азимута и времени движения). Подача импульсного сигнала при этом прекратилась. Никто не заметил, что на экране появились акронимы, информирующие об обоих изменениях (DR – навигационное счисление и SOL – отсутствие входного сигнала; следует признать, что SOL, часть слова solution – решение, все-таки весьма неудачная аббревиатура для выражения, обозначающего «расчет точного определения местонахождения невозможен»). Навигационное счисление – это только обоснованная прикидка, поскольку оно не учитывает влияния ветра и течений. Автопилот судна руководствовался поступающими данными, которые, будучи правдоподобными, становились все менее точными. Экипаж отслеживал положение судна по радиолокационной карте, но на ней высвечивался маршрут, проложенный на основании неточной информации от GPS, так что эта карта не показывала истинное местонахождение судна. Кроме того, экипаж не проверил работу GPS по второму надежному источнику – навигационной системе, которая осуществляет триангуляцию радиосигналов с берега. Окончательно решило судьбу корабля еще одно несчастливое совпадение: буй, предназначенный для оповещения об опасных водах вблизи острова Нантакет, находился примерно в том месте, в котором GPS-система ожидала обнаружить буй, указывающий вход в гавань Бостона. Радар обнаружил его, но экипаж продолжал считать, что все идет как надо. Никто не заподозрил неладное, пока не заметили, что цвет воды океана изменился так, что стало понятно: судно вышло на мелководье. Но было уже поздно. Лайнер водоизмещением 32 000 тонн сел на мель в 16 км от острова Нантакет.

К счастью, в итоге ничего страшного не случилось. Через сутки после аварии пять буксиров сняли Royal Majesty с мели. Благодаря корпусу с двойным дном судно осталось на плаву и доставило пассажиров в Бостон, но, чтобы оно смогло снова выйти в море, пришлось выложить 2 миллиона долларов на ремонт.

Чему нас может научить этот случай, едва не завершившийся трагедией? Машины делали то, что им положено было делать. Все дублирующие системы функционировали как надо. Да, машины не представляли операторам подробную информацию о происходящем, но ведь нельзя требовать от машин слишком многого. Они не способны понять, что именно необходимо знать человеку и что тот собирается делать. Как было показано выше, именно это ограничивает возможности машин. Они не более чем инструменты, а не верные сотрудники, преследующие общую с вами цель.

Единственную настоящую ошибку на судне совершили ответственные люди, доверившиеся GPS-системе. Отчасти их можно понять – до этого случая машины всегда были эталоном точности. Офицеров ввела в заблуждение иллюзия знания. Они считали, что понимают информацию, поступающую от машин, но в действительности не оценили важность появившихся на экране не очень заметных символов (тех самых DR и SOL), потому что просто не знали, как работает их GPS-устройство. Они не знали, что означают эти символы, не знали, что они сообщают о расчете лишь приблизительного местонахождения судна и предупреждают о ситуации, грозящей катастрофой. Поскольку экипаж не знал о своем заблуждении, двойной контроль не осуществлялся. За многие годы успешных плаваний у людей выработалось глубокое чувство уверенности в себе, маскирующее сформировавшуюся у них иллюзию знания.

Одним из навыков, формирующихся параллельно с появлением самосознания, является способность размышлять над тем, что происходит. Люди всегда могут наблюдать и оценивать собственное поведение. Они способны абстрагироваться и давать себе отчет в том, что они делают и что происходит непосредственно вокруг них. Более того, люди могут отслеживать и некоторые собственные мыслительные процессы (сознательную составляющую психической деятельности). Если им не нравится то, что они видят, принимаются меры, чтобы изменить ситуацию. Понятно, что эти меры носят ограниченный характер. Скользя вниз по сплошному льду, вы мало что сможете сделать, чтобы остановиться, если у вас нет ледоруба. Если вы охвачены ужасом или страстью, вам очень трудно контролировать эти чувства, но, по крайней мере, у нас есть способность понимать, что происходит (в состоянии бодрствования и ясности сознания). В той степени, в которой мы способны контролировать свои действия (обычно мы ведь не позволяем себе поддаться неудержимому соблазну схватить лежащий перед нами большой кусок шоколадного торта), мы можем и изменять их. В противоположность этому машина всегда подчиняется заложенной в нее программе. Алгоритм может быть очень сложным, в него можно заложить даже умение адаптироваться к изменениям в окружающем пространстве. Однако если разработчики программы не учли какую-то ситуацию, то и машина не будет знать, что делать в случае возникновения таких обстоятельств, и может поступить, с нашей точки зрения, совершенно неправильно. Поэтому критически важной ролью человека является осуществление контроля за работой автоматизированных систем, то есть оператор просто должен находиться на месте при появлении признаков серьезной неполадки. В настоящее время большую проблему представляет невозможность обеспечить одному человеку доступ ко всей информации, необходимой для понимания и управления сложной современной системой. Они же между тем усложняются с нарастающей скоростью. Именно это должно вызывать тревогу.