Вторая, связанная с первой, проблема обусловлена самим процессом тестирования. В младших классах дети еще не знакомы с процедурой тестирования. Лично я с большей настороженностью отношусь к результатам тестирования учеников до четвертого класса (то есть тех, кому еще не исполнилось девять-десять лет), поскольку маленьким детям часто в новинку сама обстановка тестирования. Я все еще помню свой первый тест в третьем классе с ответами на отдельных листочках. Это был «Тест проверки базовых способностей для штата Айова», который считался тестом достижений. У меня буквально стоит перед глазами то, как я подошел к последнему заданию и с ужасом обнаружил, что у меня осталось несколько незаполненных клеток для ответов. Я просто запутался и вносил ответы в позиции, которые соответствовали совсем другим вопросам. Но учительницу это не волновало. По результатам теста она сделала вывод о том, что уровень моих знаний в рамках тестируемого материала очень низок.

С годами ученики приобретают навыки выполнения тестов. Сама обстановка тестирования становится для них более привычной. Но дети, не посещавшие школы западного образца, могли никогда не сталкиваться с подобными заданиями. Точно так же люди среднего и старшего возраста, как на Западе, так и в других местах, могут годами не иметь ни малейшего представления о таких тестах. Для них процедура тестирования и даже мысль о ней могут быть сопряжены с переживаниями или страхом. И опять-таки, нельзя интерпретировать результаты их тестирования на основе тех же критериев, что и у молодежи.

Исследования показали, что немаловажное значение могут иметь и определенные особенности тестируемых. Например, чернокожие дети могут оказаться в менее выгодном положении при выполнении типичных тестов проверки умственных способностей. Могут сказаться и менее очевидные различия. Много лет назад, работая в летние месяцы в «Psychological Corporation», одном из крупнейших издательств тестов, которое находилось тогда в Нью-Йорке, я участвовал в приеме экзаменов. В компании решили, что для достижения максимально равноправных условий тестирования необходимо записать все задания на магнитофонную пленку. В таком случае каждый испытуемый будет слышать один и тот же голос, читающий инструкции с одинаковым для всех темпом и дикцией. В теории все выглядело замечательно. На практике все оказалось не так гладко.

Например, можно было ожидать, что для записи пригласят профессионального диктора с разборчивой, четкой артикуляцией и, возможно, с тем приятным «ванильным» акцентом уроженцев Среднего Запада, который легче всего воспринимается слушателями. Но по каким-то причинам президент компании решил начитать инструкции к тесту сам. Профессиональным диктором он не был. Что более существенно, его характерный техасский выговор основательно запутал, по всей видимости, немало ньюйоркцев. Его чтение было, возможно, по душе жителям Хьюстона, но многим жителям Нью-Йорка приходилось напрягаться, чтобы понять, о чем идет речь.

А что еще хуже, идея о том, что все будут одновременно выполнять инструкции, записанные на пленку, сыграла со многими злую шутку. Я наблюдал, как некоторые испытуемые терялись во время теста, у них буквально опускались руки – они еще не закончили одно задание, а механический голос из магнитофона уже диктовал следующее. Но когда сотрудники, в обязанности которых входило принятие решений о приеме испытуемых на работу, получали результаты тестирования, они видели аккуратные, чистые компьютерные распечатки, и создавалось впечатление, что так же четко и гладко проходил и сам тест.

В качестве последнего недостатка эмпирического подхода к построению тестов можно заметить, что авторы этих тестов, как правило, не задаются вопросом о том, что представляет собой интеллект. Они просто используют подтвержденные практикой критерии, например то, что позволяет отличить детей младшего возраста от детей постарше. Но дети с годами становятся в среднем выше и тяжелее. Авторы тестов не предлагают использовать для измерения интеллекта линейку или весы; рост и вес не являются критерием интеллекта. Но то, что на практике предлагается использовать для этих целей и в конечном итоге включается в тесты, вовсе не выглядит более обоснованным, чем измерение роста и веса. При отсутствии теории интеллекта нельзя дать четкого определения этого понятия, если, конечно, не удовлетвориться сомнительной формулировкой «интеллект – это то, что измеряется тестами»; данное рабочее определение предложил ныне покойный профессор Гарвардского университета с весьма уместной фамилией – Боринг (boring (англ.) – скучный, занудный).

Второй подход построения тестов состоит в создании теории интеллекта, на основе которой затем вырабатываются тесты. Преимущество такого подхода, очевидно, в том, что вы вооружены четким определением понятия интеллекта. Потребители тестов – психологи, школы или служащие, которые приобретают этот товар, – могут решать, нравится им данная теория или нет, и на основе этого решения покупать или не покупать тесты. Во многих отношениях такой подход к тестированию является более честным. Издатели тестов говорят, что они понимают под интеллектом, а потребители могут принять эту точку зрения или отвергнуть ее. Здесь нет лукавства с ярлыками: вам открыто говорят, что продают.

Но лишь очень немногие тесты проверки умственных способностей создаются на основе теорий интеллекта. Почему? Потому, что такой подход вынуждает издателей тестов принимать определенную концепцию интеллекта. А они, как правило, избегают этого: либо потому, что сами имеют весьма смутное представление об этом, либо для того, чтобы побольше продать своей продукции. Они рассуждают подобно производителям пищевых продуктов до принятия законов о точности содержания ярлыков и наклеек: чем меньше люди знают о том, что им предлагают, тем меньше вероятность, что они от этого откажутся. Сегодня, если вам не нравятся продукты с высоким содержанием жира, вы просто их не покупаете. Раньше, не зная содержания жира в конкретном продукте, вы вполне могли бы и купить его, повышая таким образом общий объем его продаж. Что касается тестов, то ввиду отсутствия четких теоретических основ вы часто покупаете то, о чем имеете достаточно смутное представление.

Безусловно, потребители тестов не являются полными идиотами и хотят получить адекватную информацию об этом товаре – их приходится убеждать, что тесты небесполезны хотя бы в некоторых процессах принятия решений (или, по крайней мере, производят такое впечатление).

Первую важную информацию такого рода, которая будет постоянно обсуждаться в данной книге, часто называют «критерием валидности». Вопрос здесь состоит в том, насколько результаты тестирования измеряют то, что они должны измерять в соответствии со своим назначением. Отражают ли они то, что от них действительно ожидают? Например, критерием валидности тестов проверки умственных способностей часто служат оценки, которые ученики получают в школе; а если речь идет о программах профессиональной подготовки, критерием может быть последующая эффективность на рабочих местах.