Но верный ли это вывод?

Чтобы это выяснить, я провел простой эксперимент[131].

Я налил 100 мл фильтрованной воды в две пустые мензурки и понюхал обе: ничего. Хорошо. Вода не должна ничем пахнуть. Затем я добавил в одну из них 0,025 г гипохлорита кальция, популярного дезинфицирующего вещества на основе хлора, которым обеззараживают воду в бассейнах. Я размешивал кристаллы в воде несколько минут, чтобы они полностью растворились, а затем понюхал воду. Если запах общественного бассейна объясняется хлором, то из мензурки должно было сильно пахнуть бассейном.

Этого не случилось.

Гм. Возможно, нужно время, чтобы реакция произошла. Я накрыл обе мензурки и оставил их на ночь при комнатной температуре.

На следующий день запах так и не появился.

Что ж, это странно. Что еще бывает в бассейнах?

О

Нет.

Только не…

моча?

Господи. Неужели дело в ней?

Похоже, что так…

Есть только один способ это выяснить.

Я повторил эксперимент, но на этот раз я взял четыре мензурки: с чистой водой, с водой и гипохлоритом кальция, с водой, гипохлоритом кальция и капелькой теплой мочи, а также с водой и мочой. Я накрыл мензурки и оставил их на ночь.

Следующим утром я понюхал пробирки.

О нет.

Нет-нет.

Нет-нет-нет-нет-нет.

НЕ-Е-Е-Е-Е-Е-Е-Е-Е-Е-Е-Е-Е-Е-Е-Е-Е-ЕТ!

Как оказалось, бассейном пахли сразу две пробирки.

Значит ли это, что все бассейны, в которых я плавал, были полны мочи?

Ангел на правом плече

Подожди, не делай поспешных выводов.

Дьявол на левом плече

Что значит «поспешных»? Эксперимент уже проведен!

Ангел

Да, но наши тела могут быть источником не только мочи… Например, с кожи смывается солнцезащитный крем!

Дьявол

Гм, думаю, ты прав. А еще наши тела – источник слюны.

Ангел

Да, но она не настолько противная.

Дьявол

И еще соплей.

Ангел

Фу. Ты серьезно?

Дьявол

И дерьма.

Ангел

Ты отвратителен.

Ангел и Дьявол предложили четыре интересных варианта: солнцезащитный крем, слюна, сопли и дерьмо. Я проверил два из них. При добавлении соплей получился совсем легкий запах бассейна. Слюна, как мне показалось, привела к появлению канонического запаха, который ударяет вам в нос, когда вы заходите в крытый бассейн спортивного клуба.

Теперь мы можем взять первоначальное утверждение, «хлор связан с запахом бассейна», и слегка его изменить. Что-то подобное может быть более подходящим: «Хлор, смешанный с человеческой мочой, слизью или слюной, дает запах, который удивительно похож на запах общественного бассейна». Как это часто бывает в науке, во время проведения эксперимента можно получить больше вопросов, чем ответов. В какой степени характерный запах бассейна вызывается мочой, а в какой – соплями или слюной? Является ли запах, полученный в ходе моего маленького исследования, химически идентичным «аромату» общественного бассейна? Неужели люди действительно так часто писают в воду, что каждый бассейн пахнет одинаково? (Думаю, мы все знаем ответ на этот вопрос.) Можно посвятить всю свою жизнь изучению химии общественных бассейнов[132].

Бассейны и моча составляют суть выбоины № 7, которая называется «дизайн исследования». Иными словами, тип проводимого вами эксперимента может ограничить выводы о причинно-следственных связях. Посещение бассейнов и вдыхание их запаха – это обсервационное исследование. В результате него вы сможете выявить связь между хлором и характерным запахом бассейна, но не узнаете, вызывает ли это вещество специфичный запах.

Если вы пописаете в одну мензурку из двух, а затем сравните запах, то проведете контролируемый эксперимент. Благодаря ему вы поймете, что хлор и моча приводят к появлению типичного запаха бассейна, однако с ним связаны определенные ограничения (подробнее об этом мы поговорим чуть позже). Следующий слой «торта доказательств» – выявление химических реакций между хлором и мочой (или другими телесными жидкостями), которые приводят к появлению запаха бассейна. Это похоже на то, как выявление химической связи между курением и раком легких добавляет очередной кирпич в Мост истины.

Когда вы в следующий раз увидите заголовок вроде: «ПОТРЕБЛЕНИЕ ГОЛУБИКИ СВЯЗАЛИ СО СНИЖЕНИЕМ РИСКА СМЕРТИ», вспомните все колдобины на пути к подлинной причинно-следственной связи.

Выбоина № 1: обман.

Выбоина № 2: базовые математические ошибки.

Выбоина № 3: случайность.

Выбоина № 4: процедурные проблемы.

Выбоина № 5: манипуляция статистикой, включая Р-хакинг.

Выбоина № 6: спутанные связи.

Выбоина № 7: дизайн (обсервационное vs. рандомизированное контролируемое исследование).

Есть и другие проблемы, но главное, чтобы вы запомнили эти.

Подождите секунду.

Почему вы должны запоминать всю эту ерунду? Разве об этом не должны беспокоиться… другие люди? Поиск всех этих неточностей и ошибок и попытки предсказать их влияние на финальный результат – трудная работа. Было бы здорово, если бы нашлась группа ученых, которая разработала бы систематический способ оценки исследований и помогла вам решить, продолжать есть Cheetos или нет!

К счастью, такой научный коллектив уже есть.

* * *

Не так давно группа ученых разработала систематический способ рассматривать доказательства и решать, насколько они хороши (или плохи). Так родилась система GRADE. Ее уровни выглядят следующим образом.