Оценивание оценок

Это заставило меня задуматься об экспертных прогнозах как таковых. Однажды за обедом в 1988 году мой тогдашний университетский коллега Даниэль Канеман поделился пригодной к тестированию идеей, которая в итоге оказалась провидческой. Он высказал версию, что ум и знания могут улучшить качество прогнозирования, но это преимущество быстро нивелируется. Люди, вооруженные научными степенями и десятилетиями опыта, могут оказаться лишь чуть точнее в своих прогнозах, чем внимательные читатели New York Times. Конечно, Канеман всего лишь предполагал, а даже у Канемана предположения — это только предположения. Точность прогнозов политических экспертов никто никогда не подвергал серьезной проверке — и чем больше я размышлял над этой задачей, тем лучше понимал почему.

Возьмем хотя бы проблему времени. Очевидно, что предсказания с размытыми временными рамками — это абсурд. Но прогнозисты постоянно их делают, как в том письме Бену Бернанке. Дело тут обычно не в нечестности — просто подразумевается некое общее понимание, какие временные рамки, пусть и грубо очерченные, имеются в виду. Именно поэтому прогнозы без указания времени не кажутся абсурдными. Но время проходит, воспоминания тускнеют, и подразумеваемые временны́е границы перестают быть очевидными. В результате часто возникает утомительная дискуссия об «истинном» значении прогноза. Ожидалось ли событие в этом году или в следующем? В этом десятилетии или следующем? Без временных ограничений такие споры невозможно разрешить к всеобщему удовлетворению, особенно когда на кону чья-то репутация.

Одна только проблема превращает многие каждодневные прогнозы в непригодные для проверки. Еще одна проблема: предсказания часто опираются на то, что их ключевые термины всем понятны и без четких определений (как «весомое место на рынке» у Стива Балмера). Такие расплывчатые формулировки — скорее правило, чем исключение, и они тоже переводят прогнозы в категорию непригодных для проверки.

Но это еще не самые большие препятствия на пути к оценке прогнозов; со степенью их вероятности возникает куда больше проблем.

Некоторые предсказания проверить легко: в них однозначно утверждается, что какое-то событие случится или не случится, как в прогнозе Джонатана Шелла: или мы избавимся от ядерного оружия, или «апокалипсис… произойдет». В итоге ни одна супердержава не уничтожила свой ядерный арсенал, но и ядерной войны не случилось — ни в том году, когда появилась книга Шелла, ни до сих пор. Поэтому, если читать прогноз Шелла буквально, прогнозист окажется очевидно не прав.

Но что, если бы Шелл сказал, что ядерная война случится «с большой вероятностью»? Тогда прогноз был бы не столь очевиден: Шелл мог чрезмерно преувеличить риск, но мог и оказаться совершенно прав — просто человечеству повезло выжить в самой отчаянной в истории нашей планеты игре в русскую рулетку. Тогда был бы только один способ проверить его предсказание: воспроизвести жизнь цивилизации заново сотни раз, и, если в большей части этих «перезапусков» она окончится в груде радиоактивных обломков, значит, Шелл был прав. Но этого мы сделать не можем.

Однако же давайте представим, что мы всемогущие создания и можем провести такой эксперимент. Мы прокручиваем историю сотни раз и выясняем, что 63 % их заканчиваются ядерной войной. Прав ли Шелл в этом случае? Возможно. Но мы все равно не можем судить определенно — так как не знаем, что именно имелось в виду под «большой вероятностью».

Похоже на семантическую увертку, правда? Но это явление гораздо более значительно, как в свое время с тревогой обнаружил Шерман Кент.

В разведывательных кругах Шерман Кент — легенда. Получив степень доктора философии в области исторических наук, Кент ушел с преподавательской должности в Йеле, чтобы присоединиться к отделу исследований и анализа только что образованного Бюро координации информации (БКИ) в 1941 году. БКИ превратилось в Управление стратегических служб (УСС), а УСС стало Центральным разведывательным управлением (ЦРУ). К 1967 году, когда Кент ушел в отставку, он успел существеннейшим образом повлиять на формирование в американском разведсообществе разведывательного анализа — методики исследования информации, собранной шпионами или слежкой, с целью выяснения ее значения и прогнозирования дальнейших событий.

Ключевое слово в работе Кента — «оценка». Как он писал,

А мы, подчеркивал он снова и снова, никогда на самом деле не знаем, что случится дальше. Таким образом, прогнозирование — это оценивание вероятности того, что что-то произойдет. Именно этим Кент и его коллеги занимались в течение многих лет в Управлении национальных разведывательных оценок обстановки. Это неприметное, но крайне влиятельное бюро занималось тем, что собирало всю доступную ЦРУ информацию, синтезировало ее и предсказывало дальнейшие события, что могло помочь высшим чинам в правительстве США определиться со стратегией и тактикой.

Работа Кента и его коллег не была идеальной. Самый громкий провал относится к 1962 году, когда в опубликованнной ими оценке обстановки утверждалось, что Советы не могут совершить такую глупость, как размещение наступательных ракет на Кубе, — в то время как это уже было сделано. Но по большей части прогнозы Управления очень ценились, потому что Кент поддерживал высокие стандарты аналитической скрупулезности. В национальных разведывательных оценках обстановки ставки были крайне высоки. Каждое слово имело значение. Кент взвешивал их крайне осторожно. Однако даже его профессионализм не смог предотвратить путаницу.

В конце 1940-х коммунистическое правительство Югославии разорвало отношения с Советским Союзом. Возникла угроза вторжения Советов на территорию страны. В марте 1951 года в США была опубликована Национальная разведывательная оценка 29–51:

Почти по всем стандартам это ясный, осмысленный язык. Никто из чиновников высшего ранга в правительстве, прочитавших эту оценку, даже не предполагал иного исхода прогноза. Однако несколько дней спустя, когда Кент разговаривал с представителем Госдепартамента, тот спросил его мимоходом: «Кстати, а что вы имели в виду под выражением „серьезная возможность“? Какой расклад вы подразумевали?» Кент сказал, что его прогноз пессимистичен: 65 против 35 он ставил на то, что нападение произойдет. Представитель Госдепартамента был поражен. Он и его коллеги восприняли «серьезную возможность» как гораздо меньшую разницу в раскладе[49].