Мы уже говорили о низкой вероятности того, что имена средневековых раввинов скрыты в тексте Торы. Но действительно ли это так? Многие религиозные евреи придерживаются мнения, что все существующее знание так или иначе содержится в тексте Торы. Если это действительно так, присутствие в Торе имен и дат рождения раввинов совсем не маловероятно; по существу, это почти неизбежно.

То же самое можно сказать о розыгрыше лотереи в штате Северная Каролина. На первый взгляд кажется маловероятным, чтобы один и тот же набор выигрышных чисел выпал дважды за одну неделю. И это верно, если вы согласны с предположением, что шарики с числами выпадают из барабана в совершенно случайном порядке. Но, может быть, вы так не считаете? Возможно, вы думаете, что система случайного распределения работает неправильно, поэтому числа 4, 21, 23, 34, 39 могут выпадать с большей вероятностью, чем другие. Или вы полагаете, что нечистый на руку чиновник, занимающийся организацией лотереи, выбирает выигрышные числа так, чтобы они совпали с числами в его билете. При любой из этих гипотез удивительное совпадение совсем не маловероятно. Невероятность в таком понимании – понятие относительное, а не абсолютное. Когда мы говорим, что результат невероятен, тем самым мы в явной или неявной форме утверждаем, что он маловероятен при определенной совокупности предположений относительно базовых принципов устройства этого мира.

Многие научные вопросы, типа «происходит что-то или нет?», можно свести к простому ответу «да» или «нет». Новый лекарственный препарат действительно помогает вылечить болезнь или не оказывает никакого воздействия? Психологическая интервенция действительно делает вас более счастливыми (бодрыми, сексуальными) или не оказывает никакого воздействия? Сценарий «не оказывает никакого воздействия» называют нулевой гипотезой. Нулевая гипотеза – это предположение о том, что изучаемое вами воздействие не имеет никаких последствий. Если вы исследователь, разработавший новый лекарственный препарат, нулевая гипотеза – это то, что не дает вам спать по ночам. Пока вы не сможете ее опровергнуть, вы не поймете, стоите ли вы на пороге медицинского прорыва или выбрали не тот метаболический путь.

Каким образом следует доказывать несостоятельность нулевой гипотезы? Стандартную модель под названием «проверка значимости нулевой гипотезы» в наиболее распространенном виде разработал в начале ХХ столетия Рональд Эйлмер Фишер, основатель современной статистической практики[101].

Вот как это делается. Сначала необходимо провести эксперимент. Вы можете начать с сотни испытуемых, а затем в произвольном порядке выбрать половину участников эксперимента для приема вашего чудо-лекарства, а оставшимся давать плацебо. Безусловно, вы рассчитываете на то, что среди пациентов, принимающих ваш лекарственный препарат, вероятность смертности будет ниже, чем среди пациентов, принимающих таблетки-пустышки.

После этого дальнейшие действия могут показаться довольно простыми: если вы фиксируете меньше случаев смерти среди пациентов, принимавших лекарства, по сравнению с теми, кто принимал плацебо, можно объявлять о победе и подавать в Управление по контролю за пищевыми продуктами и медикаментами заявку на регистрацию нового лекарственного препарата. Но это неправильный путь. Недостаточно одного соответствия полученных данных вашей теории; эти данные должны быть несовместимы с отрицанием вашей теории, ужасной нулевой гипотезой. Я, например, объявлю, будто обладаю такими мощными способностями к телекинезу, что могу вытащить солнце из-за горизонта. Вам нужны доказательства? Тогда потрудитесь выйти на улицу около пяти утра, и увидите результаты моей работы! Но такое заявление в принципе нельзя считать доказательством, поскольку согласно нулевой гипотезе, если у меня нет экстрасенсорных способностей, солнце все равно взойдет.

Интерпретация результатов клинических испытаний требует такого же подхода. Давайте сформулируем эту задачу в числовом виде. Предположим, мы имеем ситуацию, в которой истиной является нулевая гипотеза: вероятность смерти одна и та же (скажем, 10 %) как среди пятидесяти пациентов, принимавших новый лекарственный препарат, так и среди пятидесяти пациентов, принимавших плацебо. Однако это не означает, что умрут пять пациентов, принимавших лекарство, и пять пациентов, которых лечили плацебо. В действительности вероятность того, что умрут в точности пять пациентов первой группы, составляет 18,5 % – не очень высокая, как и в случае выпадания точно одинакового количества аверсов и реверсов в длинной серии подбрасываний монеты. Точно так же маловероятно и то, что за время проведения испытаний из жизни уйдет столько же пациентов, лечившихся лекарственным препаратом, сколько и пациентов, получавших плацебо. Я сделал следующие расчеты.

Тот факт, что в группе пациентов, принимавших лекарственный препарат, результаты лучше, чем среди пациентов, получавших плацебо, мало что значит, поскольку даже согласно нулевой гипотезе нельзя исключать вероятность, что ваш лекарственный препарат не оказывает никакого воздействия.

Однако все выглядит совсем иначе, если в группе пациентов, принимавших лекарство, результаты гораздо лучше. Предположим, за время проведения испытаний в группе плацебо умирает пять пациентов, а в группе лекарственного препарата – ни одного. Если нулевая гипотеза верна, каждый пациент обеих групп имеет шанс остаться в живых, равный 90 %. Однако в таком случае весьма низка вероятность того, что выживут все пятьдесят пациентов, принимавших лекарство. Первый пациент из этой группы имеет шанс на выживание 90 %; вероятность того, что в живых останется не только первый, но и второй пациент, составляет 90 % от этих 90 %, или 81 %. Вероятность того, что в живых останется и третий пациент, составляет всего 90 % от 81 %, или 72,9 %. Каждый очередной пациент, выживание которого вы ставите в качестве условия, немного уменьшает вероятность, и к концу процесса, когда вы задаете вопрос о вероятности выживания всех пятидесяти пациентов, остается совсем небольшая доля вероятности:

(0,9) × (0,9) × (0,9) ×… всего пятьдесят раз! … × (0,9) × (0,9) = 0,00515…