Систематическая ошибка может также принимать форму избирательного отсева. Изначальная эквивалентность групп может растаять на глазах, если часть испытуемых откажется от продолжения обследования до его завершения. Проблема не только в том, что в одной возрастной группе оказывается больше выпадений, чем в другой. Суть проблемы та же, что и в лонгитюдном исследовании: те, кто выбывает, нередко отличаются от тех, кто остается. Поэтому валидности угрожает именно «избирательность» избирательных выпадений.

Нетрудно представить себе ситуацию, когда избирательное выпадение может исказить результаты сравнения возрастных групп. Предположим, что мы изучаем дошкольников и делим нашу выборку на младших (2,5-4 года) и старших (4-5,5 лет) детей, получая при этом две группы для сравнения. Процедура тестирования довольно утомительна, она требует от ребенка осмысления ряда инструкций и ответов на вопросы в течение весьма длительного периода времени. Не все дошкольники к этому готовы, и некоторые поэтому выбывают из исследования. Наибольшие шансы па выбывание у детей младшей группы. Наибольшие шансы на выбывание также у тех, кто обладает наименьшей компетентностью среди всех испытуемых из выборки. В таком случае мы останемся с двумя неравноценными группами: достаточно репрезентативной выборкой старших детей и явно нерепрезентативной по параметру уровня способностей выборкой младших детей. Очевидно, что любое такое выпадение снизило бы вероятность выявления улучшения результатов с возрастом.

Вернемся к вопросу о первичном отборе испытуемых. Я уже дважды говорил о том, что, как правило, выбор параметров для приведения в соответствие не представляет труда. Пора теперь обратиться к исключениям из этого «правила». Сомнения в том, по каким показателям следует уравнивать, чаще всего возникают в случаях, когда между группами очень большая разница в возрасте, и поэтому потенциально существует множество других различий. Поэтому эти сомнения наиболее сильны в ситуациях сравнения выборки пожилых с выборкой молодых людей. Наглядный пример — переменная образовательного уровня: сегодня процент лиц, окончивших среднюю школу, значительно выше, чем несколько десятилетий назад. Допустим, нам нужно сравнить 25-летних и 75-летних испытуемых. Если в обе возрастные группы мы отбираем по принципу случайности, молодые испытуемые в среднем окажутся образованнее пожилых. Тогда мы получим смешение возраста и уровня образования. Если мы включим в выборку пожилых людей только тех, у кого выше образовательный уровень, то получим равноценные выборки по параметру уровня образования, но за счет нерепрезентативности и искажения выборки пожилых людей в положительную сторону. Ни то, ни другое нежелательно; вероятно, если возможно, лучшим вариантом в этом случае будет совмещение двух подходов (см. Green, 1969). Однако главное это то, что при любой попытке сравнить взрослых испытуемых разных возрастов на определенном историческом этапе неизбежно происходит смешение возраста и уровня образования.

Сказанное выше о приведении в соответствие параметров группы фактически является частным случаем особенности, характерной для всех исследований методом поперечных срезов. Ранее отмечалось, что лонгитюдный подход к изучению возрастных различий неизменно связан со Смешением возраста и времени обследования. Добавим теперь, что использование метода поперечных срезов неизбежно связано со смешением возраста и поколения, или когорты. Поскольку испытуемые входят в разные возрастные группы, они появились на свет в разное время и росли в разных условиях. Один из примеров такого межпоколенного различия — несопоставимость образовательных возможностей, которые были у сегодняшних 25-летних к сегодняшних 75-летних людей. Можно привести еще массу примеров. Сегодняшние 75-летние люди, будучи детьми и подростками, пережили Великую Депрессию, их молодость совпала со Второй мировой войной, они достаточно долго жили без телевидения и других атрибутов современной жизни и т. д. Предположим теперь, что мы обнаружили различия в значении зависимой переменной между группой 25-летних и группой 75-летних лиц. Следует нам относить это различие на счет возраста или на счет разницы между поколениями?

Так же, как и в случае причин искажения валидности, рассмотренных в этой главе, степень смешения возраста и когорты зависит от характера проводимого исследования. Оценивая вероятность эффекта поколения, важно учитывать два фактора. Первый — тип изучаемой зависимой переменной. Если нас интересуют политические взгляды или результаты выполнения тестов интеллекта, тогда эффект поколения может быть достаточно выражен; практически, этот эффект был наглядно продемонстрирован в исследовании IQ (например, Schaie, 1994). Если нас интересуют изменения в частоте сердечных сокращений или остроте зрения, тогда эффект поколения, скорее всего, будет играть незначительную роль. В целом, чем более «универсальный», более «биологический» характер носит зависимая переменная, тем меньше вероятность того, что ее величина будет разной в разных когортах. Однако помните, что почти всегда возникают споры о том, насколько «универсальна», неспецифична конкретная переменная. Возможно, к примеру, что острота зрения изменяется от поколения к поколению как функция от изменения таких факторов, как уровень искусственной освещенности, наличие или отсутствие телевидения в годы становления индивида.

Другой фактор, который следует учитывать, — разница в возрасте. Эффект поколения становится особенно серьезной проблемой в исследовании групп с большой разницей в возрасте. В действительности, впервые вопрос межпоколенных различий встал в исследовании, направленном на сравнение выборок молодых и пожилых людей, и до сих пор наиболее часто он обсуждается именно в этом контексте. С другой стороны, психологу, сравнивающему 3- и 4-летних детей, нет необходимости беспокоиться о том факте, что одни дети родились в 1990 году, а Другие — в 1991. В границах детского возраста испытуемых обычно рассматривают как представителей одной когорты. Однако и здесь могут возникнуть сомнения. Что если сравнить когорту, выросшую без «Улицы Сезам», с когортой, выросшей с «Улицей Сезам»? Что если сравнить 11-летних детей, которые в начальной школе обучались по новому методу, с 7-летними, которых стали обучать по старой схеме? Мы живем во времена стремительных изменений в культуре и образовании, и эти изменения могут отражаться на результатах сравнения, по крайней мере, некоторых возрастных групп детей.

Последняя проблема, о которой стоит упомянуть, — это проблема эквивалентности измерений. Для сравнения уровня выраженности определенного поведения или определенной способности у разных возрастных групп необходима процедура точной оценки этой формы поведения или способности для каждой изучаемой группы. Однако зачастую тест, подходящий для одного возраста, не подходит для другого. Например, тест способности к классификации может быть точным индикатором уровня развития этих навыков у 7-летних детей, однако, с точки зрения речевых навыков, слишком сложным для многих 4-леток. Тогда в разных возрастных группах он будет измерять разные навыки: навыки классификации у 7-летних детей и объем словарного запаса у 4-летних. Заметьте, что тест все еще вскрывал бы истинные недовольно значимые возрастные различия: 7-летние дети по этому показателю действительно превосходят 4-летних, однако основанием для различий служит не то, что стремился оценить исследователь.