Давайте подведем итоги. Случайность – это четвертая выбоина на пути к подлинной связи, и с ней связано много сложностей. В отличие от первых трех она не является исключительно нашей виной. Так работает Вселенная: иногда крошки от печенья образуют нечто похожее на связь, хотя на самом деле это лишь случайность. В отличие от других колдобин в нашем списке, случайности нельзя устранить: мы можем лишь попытаться их понять. К сожалению, мы десятилетиями неправильно воспринимали Р-значения, и, хотя оно само по себе не является выбоиной, этот показатель способствует созданию самой большой выбоины из всех, что мы пока видели. Давайте вернемся к Близнецам-алкоголикам.

* * *

Я кое-что от вас скрывал. Питер Остин и его коллеги не только выяснили, что Близнецы чаще попадают в больницу из-за алкоголизма. Они также обнаружили множество связей между знаками зодиака и заболеваниями. По сути, они создали научный гороскоп.

Ваш научный гороскоп

В общей сложности они отобрали 72 диагноза вроде тех, что перечислены выше. Каждый знак зодиака был связан со статистически более высокой вероятностью госпитализации в связи с определенными заболеваниями, чем все остальные вместе взятые. Все Р-значения для связей были менее 0,05, то есть статистически значимыми.

Таким образом, Остин и его коллеги пришли к выводу, что все 72 связи, которые они обнаружили, являются подлинными.

Хочу сказать другим Скорпионам: астрология реальна – наслаждайтесь анальными абсцессами!

Я.

ШУЧУ.

Я говорил об этом так, будто это реальная наука. На первый взгляд это действительно так. Остин и его коллеги действительно сделали все, о чем было заявлено: изучили огромные базы данных, провели расчеты и выявили все вышеприведенные связи (и многие другие). В этом смысле все реально. Однако Питер не астролог, не шаман и не врач. Он статистик. Его эксперимент продемонстрировал, как слепое следование неправильным ментальным представлениям может привести к появлению… множества Сант.

Короче говоря, этот эксперимент был манекеном для статистического краш-теста, предназначенного для того, чтобы показать опасности выбоины № 5: Р-хакинга, то есть игры с данными, которая продолжается до тех пор, пока вы не «найдете» то, что искали.

Давайте повторим краш-тест в замедленном режиме. В данном случае было допущено две критические ошибки.

Во-первых, Остин решил, что если Р-значение ниже 0,05, то связь является подлинной. Это совершенно неправильно.

На самом деле не существует показателя, который гарантировал бы подлинность связи. Р-значение – это ключ, но далеко не самый важный, и он определенно не является Великим открывателем фундаментальных истин. Это лишь звук в ночи, а не неопровержимое доказательство существования Санты.

Во-вторых, Остин и его коллеги забросили свою экспериментальную сеть слишком далеко. Вместо того чтобы сформулировать единственную специфическую гипотезу об одном знаке зодиака или диагнозе, они создали, а затем проверили 14 718! Для этого потребовались гигантская база данных и коды, которые позволили сделать тысячи сравнений. Они задавали очень похожие вопросы снова и снова.

Выше ли уриск госпитализации в связи с туберкулезом?

А с сифилисом?

А с подагрой?

А с аппендицитом?

А с… и так далее.

Выше ли у риск госпитализации в связи с туберкулезом?

А с сифилисом?

А с подагрой?

А с аппендицитом?

А с… и так далее.

Каждый из этих вопросов является основой для отдельного эксперимента. Выходит, что Остин провел не одно испытание, а более 14 тысяч[126].

Что в этом плохого? То, что сделали Остин с коллегами – забросили экспериментальную сеть слишком далеко, а затем выбрали результаты, которые показались им самыми значимыми, – можно сравнить с тем, чтобы родить пятерых детей, а затем ждать 30 лет, чтобы посмотреть, кто из них станет самым успешным (Р-значение < 0,05), отречься от остальных (Р-значение > 0,05) и объявить себя лучшим родителем в истории (опубликовав только те результаты, где Р-значение < 0,05). Остин мог взять гигантскую базу данных, провести более 14 тысяч экспериментов, «обнаружить», что Близнецы на 30 % чаще попадают в больницу из-за алкоголизма, чем представители других знаков зодиака, и опубликовать только этот результат.

Чем больше у вас детей, тем выше вероятность, что как минимум один из них станет успешным, независимо от того, насколько вы хороший родитель. Аналогичным образом, чем больше гипотез вы проверяете, тем выше вероятность, что хотя бы одна из них случайно окажется статистически значимой.

То, о чем мы только что говорили, – это самая примитивная форма Р-хакинга: проверить тысячи гипотез и опубликовать только те, где показатель < 0,05. Есть гораздо более деликатные способы сделать это. Даже профессиональные ученые могут не увидеть в этих способах манипуляций данными. Давайте проведем быстрый мысленный эксперимент. Представьте, что вместо 14 тысяч исследований Остин проводит всего одно: у него есть теория, что Скорпионы чаще бывают алкоголиками, и, чтобы ее доказать или опровергнуть, он просматривает базу данных. Он обнаруживает, что у этого знака риск стать алкоголиками повышен на 37 %! Увы, Р-значение составляет 0,76, гораздо больше 0,05, и, следовательно, результат не является статистически значимым. Стоит ли ему опустить руки и заняться чем-нибудь другим?