Ниже речь пойдет об очевидных ограничениях количественной оценки, а в следующем разделе – о том, чем вызвана предвзятость оценки.

Ахиллесова пята непобедимой статистики

Числа дают точность, поэтому люди думают, что на них можно положиться. Такой подход может быть опасным.

Мы называем данные «твердыми» (даже когда они попадают к нам в электронной форме). Но вообще-то это камни твердые, а вот данные – нет. Чаще всего у статистики есть ахиллесова пята, то есть зона уязвимости. Относитесь к цифрам аккуратно; этому есть несколько причин (цит. по [Минцберг, 1975; 2013, с. 124–126]).

Во-первых, точные данные не решают всего многообразия задач. Данные могут обосновывать описание, но не объяснение. Итак, 62 % пациентов чувствуют себя лучше. Почему? А что с остальными? (Можете дополнительно почитать о том, как одно из величайших открытий медицины, а именно установление факта, что заражение холерой происходит через воду, а не воздух, возникло в связи с двумя выбросами величин в совершенно однозначном, на первый взгляд, эксперименте.) Для глубокого понимания требуется взглянуть сквозь цифры на конкретный случай (как это сделал доктор Уорвик). Один из участников широко известного исследования сексуального поведения мужчин, проведенного Альфредом Кинси[39], горько жаловался на то, как было задето его самолюбие: «Что бы я ни говорил ему, он продолжал смотреть мне в глаза и задавал все тот же вопрос: «Сколько раз?» (цит. по [Каплан, 1964, с. 171]).

Во-вторых, точные данные часто слишком усредняются. События становятся фактами, которые объединяются и сводятся к некоторой итоговой цифре. Только представьте, сколько информации теряется в процессе! Здравоохранение, как правило, имеет дело с жизнью конкретных людей, и если средняя расчетная глубина озера составляет 15 сантиметров, в нем, конечно, никто не утонет – но достаточно ли нам этой цифры?

Можно использовать и другую метафору: хорошо, что за лесом удается разглядеть отдельные деревья, – если только вы не работаете в лесозаготовительной отрасли. Слишком часто управление осуществляется как будто с высоты птичьего полета, откуда деревья больше напоминают зеленый ковер. Сравнивая деятельность президентов США, Нойштадт пишет, что «им была необходима не безликая общая картинка… а реальные детали, которые складывались воедино в их мозгу, чтобы высветить оборотную сторону решаемых проблем» [1960, с. 153–154]. Как мы увидим из примера ниже, нельзя вести учет донорской печени в больнице так же, как в общепите считают гамбургеры.

В-третьих, для получения точных данных может требоваться время. Даже качественная информация не сразу «превращается в твердые факты». И не думайте, что стремительно растущая скорость передачи сведений что-то меняет: события и результаты сначала должны быть задокументированы как «факты», а затем агрегированы и собраны в отчеты, которым, возможно, еще некоторое время нужно «отлежаться».

В-четвертых, поразительное количество данных попросту не имеет достаточной надежности. Поднимите этот тяжкий камень точных фактов и посмотрите, что под ним шевелится.

Думаете, в больницах, где медсестры и доктора постоянно отвлекаются для решения административных вопросов, кто-то будет копаться в прошлом и выяснять, что именно записал тот сплетник? Более того, зафиксированные факты, на которые еще можно положиться в первоисточнике, легко теряют ценность при обобщении. Цифры округляются, нюансы теряются, да и ошибки случаются. Любой, кто когда-либо проводил количественные измерения, знает, насколько серьезными могут быть искажения, как умышленные, так и случайные.

Более того, итоги и выводы – совсем не одно и то же: успех зависит от того, что измеряется и каким образом. Помните историю Vioxx[40] и многих других препаратов, применение которых начиналось с хороших показателей? Вы ищете действительно хорошего хирурга для проведения трудной операции? Рискну предложить рассмотреть тех, у кого высок рейтинг смертельных исходов после операций, потому что, возможно, именно они имели дело с самыми трудными случаями[41].

В 1950 году Эли Девонс опубликовала замечательное исследование о точных данных, которые использовались во время Второй мировой войны в Министерстве авиации Великобритании. Ее находки оказались далеко не радостными. Сбор данных и фактов был в крайней степени трудным и тонким делом, требовал «высочайшего мастерства и навыков», однако к нему «относились ‹…› как к примитивной, отупляющей, рутинной работе, на выполнение которой предпочитали назначать самых нерасторопных и недалеких клерков» [1950, с. 134]. В формируемые массивы информации то и дело попадали ошибки: к примеру, все месяцы календарного года рассматривались количественно равными, хотя в некоторых встречались государственные праздники, то есть выходных было больше. «Цифры часто становились просто удобным способом сформулировать или обосновать суждения и догадки». Иногда они «выводились посредством разных арифметических фокусов. И как только цифра была получена и записана ‹…› никто не мог уже с помощью логических аргументов доказать, что она не соответствует действительности». А затем эти цифры становились «статистикой», приобретая авторитет и неприкосновенность наравне с Библией [1950, с. 155].