Перевод: если вы Близнецы и жили в Онтарио в 2000 году, то риск попасть в больницу из-за алкоголизма составлял 0,61 %. Если у вас другой знак зодиака, то риск был равен 0,47 %. Таким образом, у Близнецов вероятность попасть в больницу из-за алкоголизма была на 30 % выше (0,61/0,47=130), чем у других знаков зодиака[124]. Если говорить на языке ассоциаций, то Остин обнаружил связь между рождением под этим знаком и 130-процентным повышением риска оказаться в больнице из-за алкоголизма. Но подлинная ли это связь?

Давайте сверимся с нашим списком выбоин.

Предположим, что Остин и его коллеги не прибегали к обману и не сделали математических ошибок.

• Выбоин № 1 и № 2 удалось избежать.

Будем считать, что процедурных ошибок тоже допущено не было. Близнецы не были перепутаны с Девами, и врачи не ставили первым неправильный диагноз чаще или реже, чем другим знакам зодиака.

• Выбоины № 3 мы тоже избежали.

Итак, если статистика госпитализаций не была испорчена обманом, математическими или процедурными ошибками, то связь между Близнецами и алкоголизмом является подлинной, верно?

Возможно.

Есть еще кое-что, что могло стать причиной связи между Близнецами и алкоголизмом, – случайность. Но это не четкая и определенная причина. Представьте себе, что вы берете песочное печенье и крошите его в руке, позволяя нескольким кусочкам упасть на пол. Затем вы переходите на другое место и делаете все то же самое с другим печеньем. Затем еще раз. Вы можете повторить этот эксперимент миллион раз, но вы никогда не получите два одинаковых расположения крошек на полу. Хотя ваши руки и печенье подчиняются законам физики, оно никогда не крошится одинаково дважды. Случайность – это примерно то же самое, как крошится печенье.

Как отмечает психолог Брайан Нозек, «случайность может порождать вещи, которые выглядят реальными». Иными словами, иногда крошки выглядят просто божественно, и это относится к связи между знаками зодиака и алкоголизмом.

Возникает вопрос: как выяснить, что связь вызвана случайностью? Можно ли это определить?

Здесь все усложняется. Есть раздел математики (он зародился, когда Люцифер пал с небес на землю) под названием «индуктивная статистика». Она располагает множеством разных инструментов, но самым популярным из них является расчет, который позволяет получить Р-значение – это число от 0 до 1. Чтобы понять, что это значит, давайте использовать наших друзей Близнецов в качестве примера. Остин и его коллеги вычислили Р-значение для различий между ними и другими знаками и получили 0,015.

Что это значит? Вот точное определение:

Р-значение – это вероятность того, что если бы вы сравнили группу случайно отобранных Близнецов с группой случайно отобранных представителей иных знаков зодиака, то различия в риске госпитализаций из-за алкоголизма между ними была бы как минимум такой же, как рассчитал Остин (0,14 процентных пункта), при соблюдении трех условий: 1) во всем мире действительно нет разницы в показателях риска госпитализаций из-за алкоголизма между Близнецами и другими знаками, 2) все предположения, сделанные при построении статистико-математических моделей Остина были правдивы, и 3) ни один этап исследования не был скомпрометирован обманом; математическими, статистическими и иными ошибками; другими выбоинами, о которых мы еще не говорили; а также крючкотворством, дурачествами, вздором, чепухой и бредом.

Это определение просто ужасно, поэтому большинство ученых, журналистов, политиков и других людей, кроме специалистов по статистике, просто проигнорировали его и притворились, что на самом деле определение звучит так:

Р-значение – это вероятность того, что связь между Близнецами и алкоголизмом объясняется случайностью.

Руководствуясь вторым (ненастоящим) определением, вы можете посмотреть на Р-значение 0,015 и прийти к выводу, что:

1) существует всего 1,5-процентная вероятность, что связь между Близнецами и алкоголизмом случайная;

2) следовательно, вероятность того, что связь не вызвана случайностью, составляет 100 – 1,5 = 98,5 %;

3) таким образом, вероятность подлинности связи равна 98,5 %.

На протяжении долгого времени многие ученые рассуждали именно так. Они пришли к единому мнению, что если Р-значение ниже 0,05 (5 %), то связь может быть признана «статистически значимой» и подлинной. Если Р-значение – ох! – выше 0,05, то результат считается «статистически незначимым» и неподлинным. Эта разница не просто академическая: если бы вы были профессиональным ученым, то ваша работа заключалась бы в публикации статистически значимых исследований. Если бы вам это удавалось, то вы могли бы оставаться в профессии, а если нет, то пришлось бы открыть пекарню.

К сожалению, применение Р-значения для выяснения подлинности связи более неправильно, чем добавлять бри в борщ.

Если вы посмотрите на точное определение этого показателя, то заметите, что второй и третий пункты могут быть нарушены по практически любой причине. Полученное Остином Р-значение 0,015 могло быть связано со множеством факторов: антиканадские хакеры злонамеренно меняют цифры в базах данных; ученый разделил некоторые числа, вместо того чтобы умножить их; врачи чаще диагностировали алкоголизм среди Близнецов и т. д.

Вероятно, самое простое определение Р-значения – это «мера удивления», как говорит Регина Нуццо.

Представьте себе следующую картину: Рождество, 02:00, и вы просыпаетесь от шума в гостиной. «Господи, – думаете вы, – ЭТО ЖЕ САНТА!»

Или?

Конечно, это может быть он. Нет закона физики, исключающего его существование. Однако это также может быть ваш ребенок, который тайком спустился на первый этаж, чтобы подкараулить седобородого старичка. Или это может быть ваш 36-летний брат, пожирающий печенье, приготовленное для Санты. Или книга упала с полки. Или вор вломился. Низкое Р-значение похоже на странный звук в ночи: оно указывает на то, что происходит нечто неожиданное, но не говорит, что именно. Даже если звук достаточно громкий, чтобы вы были на 99 % уверены в том, что внизу что-то произошло, вы не можете быть на 99 % убеждены, что сам Санта пробрался к вам через камин.