• Существуют ли какие-либо специфические условия, при которых ________ истинно или условия, при которых ________ ложно?

Оценить доказательства

• Откуда мы знаем, что ________ истинно?

• Почему мы верим, что ________ именно так?

• Какие доказательства подтверждают вывод о ________?

• Какое доказательство лучше всего подтверждает ________?

• Как мы можем проверить истинность утверждения?

• Проводилось ли экспериментальное тестирование ________?

• Каковы результаты экспериментов?

• Не могли бы вы рассказать о методах, использованных в данных экспериментах?

• Как были собраны релевантные данные?

• Корректные ли параметры использовались для финального вывода?

Сыграйте роль адвоката дьявола, используя опровергающие вопросы

• Каким образом ________ может оказаться неверным? (Не спрашивайте: «Как же вы можете ошибаться?» Продолжайте вести дискуссию по поводу утверждения, а не утверждающего).

• При каких условиях ________ ошибочно?

• В каком случае ________ всегда будет истинным?

• В каком случае ________ будет отвергнуто?

• Какие доказательства – даже гипотетические – могут доказать необходимость пересмотреть данное утверждение?

• Рассматривали ли вы или кто-либо альтернативные варианты, например ________ или ________?

• Если представить, что ________ проверено экспериментально и опровергнуто, что могло послужить причиной опровержения?

• Какие доказательства могут привести вас к выводу, что это утверждение не является истинным?

• Подтверждена ли убежденность в ________ доступными доказательствами?

• Приводят ли доступные доказательства к выводу, что ________?

• Рассматривали ли вы какую-либо альтернативную гипотезу или сразу отвергли даже мысль о ней?

Числа и статистика

В редких случаях, когда люди, несущие чушь, используют числа и статистику, они склонны использовать их не так, как предполагает мышление, основанное на доказательствах. Помните: даже когда числа и статистика соответствуют фактам, их можно интерпретировать множеством различных способов.

Есть четыре базовых вопроса, которые вы можете себе задать, чтобы определить, пытается ли собеседник нести чушь, используя числа и статистику.

• Эти числа правдоподобны?

• Описательная статистика, например частота, средний уровень, проценты или графики соответствуют утверждению?

• Каким образом эти числа были получены и какие еще могли быть получены, но не представлены сейчас?

• Какова вероятность, что представленные числа на самом деле отражают реальность или то, что подразумевается в утверждении?

Кажущаяся резкость утверждения не показатель того, что оно действительно является правдой. Не принимайте утверждения за факты, не проверив достоверность. А ее можно проверить, используя логику и работая с числами. Если кто-то говорит, будто может триста раз подтянуться менее чем за пять минут, вы, вероятно, впечатлитесь. Лишь до того момента, пока не поймете нереальность сказанного: чтобы сделать триста подтягиваний менее чем за триста секунд, необходимо подтягиваться раз в секунду и не делать перерывов. Не обязательно быть спортсменом, чтобы понимать невозможность подобных действий.

Иногда утверждения и статистика звучат очень убедительно и проходят проверку на достоверность, однако не имеют никакого отношения к ключевой теме. Например, можно спорить, доказывая, что Pittsburgh Pirates – исторически лучшая команда по бейсболу по сравнению с New York Yankees, поскольку «Пираты» побеждали в 71,5 % игр Мировой серии, а «Янкиз» только в 67,5 %. С первого взгляда кажется, что данные подтверждают утверждение, но на самом деле это не так[220]. «Янкиз» принимали участие в 40 играх Мировой серии, выиграв 27 из них, а «Пираты» участвовали в Мировой серии 7 раз, выиграв пять. Посмотрев на релевантные свидетельства, мы делаем вывод: утверждение ложно. Исторически «Пираты» не лучше, чем «Янкиз».

Люди, несущие чушь, склонны запутывать факты релевантными, но не показательными данными. Например, один мой друг заявил, что до распространения COVID-19 в Соединенных Штатах Америки на работу устроилось больше американцев, чем в любое другое время в истории. Он подкрепил утверждение, указав на факт, что общее число трудоустроенных американцев до пандемии было выше, чем когда бы то ни было в истории. Тем не менее общее число трудоустроенных никак не учитывает тот факт, что население США в этот момент также было исторически выше. Процент трудоустроенных работников (коэффициент занятости) – намного более показательный маркер. Самый высокий коэффициент занятости в истории США был зафиксирован в апреле 2000 года, на уровне почти 65 %, в то время как до начала пандемии COVID-19 в США показатель составлял лишь 61 %.

Описательная статистика показывает базовые характеристики данных, собранных в ходе исследования. Изучение показателей частоты, средней меры или процентов позволяет вкратце описать данные.

Описательная статистика сама по себе ничего не доказывает. Лучший способ проверить, насколько точно она отражает реальность и подтверждает доказательство, – это исследовать данные. Изучите их распределение. Иногда вы можете обнаружить, что такой простой показатель, как среднее число, совсем не описывает весь массив информации. Можно сказать, что средний вес человека из Америки – 84 кг. Тем не менее самый часто встречающийся среди американцев вес – вовсе не 84. Намного чаще встречаются люди, весящие 77 кг и 90 кг, так как дистрибуция критерия бимодальна: в среднем женщина весит 77 кг, а мужчина – 90 кг. Но вы бы об этом не узнали, не рассмотрев внимательнее данные о распределении веса.

Несущие чушь зачастую используют корреляцию – статистический показатель, демонстрирующий силу и направление связи между двумя явлениями – для обоснования, что одно явление служит причиной другого. Тем не менее корреляция не подразумевает причинность. Например, продажи солнцезащитного крема находятся в положительной корреляции с продажами мороженого, так как показатели их роста и снижения почти синхронны. Но естественно, их корреляция не значит, что изменение показателей продаж солнечного крема влекут за собой изменение показателей продаж мороженого.

Особенно часто встречающаяся и раздражающая форма чуши включает массу разнообразных вариантов представления данных способами, создающими иллюзию, будто данные подтверждают утверждение. Предположим, вы провели исследование, спрашивая у мужчин и женщин, насколько они любят шоколадное мороженое по шкале от 1 до 7, и в среднем мужчины ответили 5,37, а женщины – 5,47. Разница между ними составляет всего лишь 0,1. Это много или мало? Если показать это на диаграмме, изобразив лишь часть шкалы от 5 до 6, разница будет выглядеть значительной. Однако лучше подойдет диаграмма, показывающая шкалу целиком (от 1 до 7). Именно она отразит факт: женщины и мужчины одинаково любят шоколадное мороженое. Единственный способ убедиться в релевантности приведенной разницы – найти шкалу измерения, которую использовали при сборе данных, а не ту, что вам показывает собеседник.