Значение понятия «величина эффекта» варьируется в зависимости от масштаба измерений. В случае примера с подбрасыванием искривленной монеты величина эффекта в 1 % означает выпадение 51 % голов вместо 50 %, как было бы с прямой монетой. Другие виды экспериментов могут означать другие соотношения – например, при использовании четырех-пяти целей вместо одной монеты, предполагающей только два возможных варианта. Это делает значение величины эффекта в 1 % различным для разных исследований. В случае мета-анализа это может представлять проблему, если происходит совмещение исследований разных типов. Как если бы мета-анализ был применен одновременно к исследованию яблок и апельсинов – в каких-то свойствах он бы привел к ошибкам, хотя это не помешало бы установить, что оба объекта исследования имеют общее определение, то есть являются фруктами.

Для надежного измерения величины эффекта были разработаны различные формулы, не принимающие в расчет специфику экспериментальных методов. Величина эффекта для исследований с принудительным выбором на достоверность предвидения составляет 0,02, где сам эффект обычно варьируется от —1 до +1, а 0 означает, что эксперимент не дал ощутимого результата. Так что величина эффекта 0,02 довольно мала. Но важно знать, как мы можем быть уверены, что этот малый эффект не равен нулю? Это зависит от неопределенности величины эффекта, и именно для этого применяется статистический анализ.

Одним из способов интерпретации значения величины эффекта является анализ влияния одной переменной величины на другую. Например, нас интересует соотношение между уровнем интеллекта и популярностью или между активностью социальных служб и уровнем здоровья населения. Величины эффектов для этих двух примеров соотношений составляют 0,10 и 0,11 соответственно[252]. Для того чтобы выяснить, насколько эти величины объясняют взаимосвязь популярности и уровня интеллекта или насколько социальные службы влияют на уровень здоровья населения, статистический анализ требует возвести эти величины в квадрат.

Таким образом, в нашем примере мы получаем приблизительно 0,10 х 0,10 = 0,01, или один к сотне, то есть 1 %. Это означает, что в то время, как соотношение между популярностью и уровнем интеллекта вполне реально, наблюдаемый эффект объясняет лишь малую долю реальной картины. Остальной объем искомого эффекта, 99 %, объясняется множеством других факторов (таких как привлекательность, телосложение, половая принадлежность, личностные качества, образование и т. п.).

В некоторых областях, таких как фармакотерапия, даже крайне малые величины эффекта воспринимаются предельно серьезно из-за возможных последствий для здоровья человека. Например, соотношение величины эффекта между приемом тамоксифена, препарата, применяемого при лечении рака груди, и образованием крупных тромбов в венах, составляет всего лишь 0,01. То есть объяснительная сила этого соотношения очень мала и означает, что менее 1 % людей, принимающих тамоксифен, могут столкнуться с такой проблемой. Но риск этого так серьезен, что дает основания для противопоказаний при анализе риск-выгода.

Теперь давайте вспомним, что средняя величина эффекта экспериментов с принудительным выбором на достоверность предвидения составляет 0,02. Это довольно небольшой эффект, но статистическое сравнение показывает, что он вполне реален.

Как соотносятся величины эффектов в исследованиях пси-феноменов и в более привычных исследованиях в общественных и психологических науках? Это весьма интересный вопрос, поскольку, как мы увидим, некоторые эксперименты с пси-явлениями имеют величину эффекта, полностью сопоставимую с эффектами, наблюдаемыми в экспериментах по психологии. Нам это известно из статьи, опубликованной в 2003 г. психологом Ф.Д. Ричардом и его коллегами в журнале «Review of General Psychology»[253].

Команда Ричарда провела обзор исследований социальной психологии за сотню лет, насчитывающих более чем 25 000 экспериментов и примерно 8 миллионов участников, создав тем самым крупнейшую базу данных по социальной психологии в мире. Анализ, проведенный ими, совмещал результаты 322 метаанализов, обращенных к таким темам, как проявление агрессии, гендерные роли, мотивация и социальное познание. Они обнаружили, что средняя величина эффекта всех 25 000 исследований составила 0,21. Возведя эту цифру в квадрат, мы обнаружим, что такая величина эффекта объясняет лишь около 4 % вариаций соотношений, оставляя 96 % необъясненными.

Как ни странно, причина недавних волнений в астрофизике из-за обнаружения темной материи и энергии обладает подобной величиной. То есть если современные космологические модели верны, тогда вся гипотетическая доктрина о происхождении и структуре вселенной основывается на 4 % известной вселенной и 96 % полной неизвестности. Подобным же образом научная база биологии покоится на знании о ДНК, однако 96 % биологических функций ДНК неизвестны и обозначаются термином «бесполезная ДНК». Такие фундаментальные пробелы предполагают большие открытия в будущем, но нынешнее состояние глубокого невежества заставляет нас скромно оценивать свои способности к познанию. Чем больше нового узнает наука о природе реальности, тем более мы осознаем степень ничтожности наших знаний.

Статья Ричарда содержит еще два интересных для нас наблюдения, поэтому я приведу их здесь с легкими исправлениями, которые объясню далее.