Помимо сведения к минимуму количества выбывших у исследователя есть еще две задачи. Во-первых, он должен заранее определить максимально объективный критерий отказа от испытуемого. С самого начала исследователю нужно иметь четкие представления о том, какое поведение испытуемого делает невозможным использование полученных результатов. Конкретные критерии будут разными в разных исследованиях; при изучении младенцев это может быть сон или плач; при изучении дошкольников — неудачное выполнение вербального претеста; при изучении старших детей и взрослых — распознание испытуемым обманного приема экспериментатора. Суть в том, что если сначала собрать все данные испытуемого, проверить, согласуются ли они с выдвинутой гипотезой, и только затем побеспокоиться о критериях выбраковки данных, можно получить искаженные результаты. Опасность заключается в том, что исследователь может легко поддаться соблазну сохранить результаты, согласующиеся с его ожиданиями, и исключить те результаты, которые с ними не согласуются.

О второй задаче мы уже упоминали в главе 2: предоставление точных данных о критериях выбраковки данных испытуемых и о количестве выбывших испытуемых. Как было сказано в главе 2, эта задача не всегда выполняется: подобная информация содержалась только в 50 % журнальных статей. Эта цифра говорит о некотором прогрессе, учитывая, что в обзоре, представленном в первом издании этой книги, данный показатель составлял 36 %. Тем не менее она оставляет желать лучшего.

Следует отметить еще один момент. Я постоянно подчеркиваю необходимость сохранения как можно большего количества испытуемых. Это, однако, не означает, что рыдающего младенца или перепуганного дошкольника нужно принудить продолжать участие в эксперименте. Против подобного образа действий можно выдвинуть два аргумента. Во-первых, результаты таких испытуемых вряд ли будут иметь какую-либо ценность. Во-вторых, что более существенно, как мы увидим в главе 8, важнейшим этическим принципом исследования, проводимого на людях, является право испытуемого в любой момент выйти из эксперимента. Этим правом, как любой другой испытуемый, обладает и не умеющий говорить младенец. А права испытуемых всегда стоят выше желаний экспериментатора.

В этой главе рассматривается воплощение абстрактного исследовательского плана в конкретную процедуру. В ней анализируются проблемы, которые могут возникнуть при работе с испытуемыми, а также способы их разрешения.

Центральным понятием данной главы является понятие стандартизации создания условий, при которых важнейшие элементы экспериментальной процедуры будут одинаковыми для всех испытуемых. Стандартизация — это аналог контроля в экспериментальном исследовательском плане. При отсутствии стандартизации процедура изменяется от испытуемого к испытуемому, возникают систематические ошибки, а результаты не поддаются однозначной интерпретации. Возможно, наилучший способ стандартизации — тщательная проработка всех практических моментов на этапе пилотажного исследования. Лучшим является тот экспериментатор, который способен быть естественным, следуя стандартам, а также, когда это необходимо, найти подход к каждому испытуемому.

Хотя проведение стандартизации желательно, некоторое отступление от стандартной процедуры неизбежно и зачастую является разумным шагом. Полная стандартизация невозможна, поскольку некоторые аспекты процедуры (например, точное время тестирования) от испытуемого к испытуемому будут изменяться. При изучении разных возрастных групп может возникнуть необходимость внести в процедуру некоторые коррективы, чтобы она соответствовала возрастным особенностям разных групп. Цель эксплоративного исследования — открытие интересных феноменов в новой области исследования, и поэтому гибкость здесь имеет большее значение, чем стандартизация. Наконец, любой неизменный аспект процедуры (например, экспериментатор, осуществляющий сбор данных) потенциально становится частью независимой переменной, и подобная сверхстандартизация может ограничить возможность генерализации полученных результатов.

Затем речь идет о некоторых конкретных факторах, негативно отражающихся на валидности. Фактор инструментария подразумевает незапланированное изменение либо физических инструментов, либо экспериментаторов и наблюдателей в ходе исследования. Это изменение приобретает особое значение, если его ошибочно принимают за результат влияния возрастных особенностей или экспериментальных условий, что может произойти в ситуации, когда все или большинство испытуемых из одной группы проходят тестирование до начала тестирования другой группы. Еще одна причина, по которой следует избегать смешения условий и порядка тестирования, — вероятность систематической ошибки при отборе: испытуемые, с готовностью соглашающиеся на участие в исследовании (или родители, быстро соглашающиеся на участие своих детей), могут определенным образом отличаться от тех, кто затягивает с ответом. Третье основание для контроля порядка тестирования — возможность эффекта внешних по отношению к исследованию событий, например, эмоционального возбуждения накануне праздника. В планах «претест-посттест» те же события могут явиться фактором искажения валидности, который называют фактором истории — изменением, обусловленным действием неконтролируемых событий, происходящих в процессе исследования.

Очень часто искажение валидности связано с реактивностью — искажающим влиянием выполнения роли объекта исследования на поведение испытуемого. Лучше других изучены две формы реактивности: поведение «идеального испытуемого», когда человек стремится вести себя так, как того желает экспериментатор; и поведение «самолюбивого испытуемого», когда человек стремится произвести благоприятное впечатление. Чаще всего для снижения вероятности реактивности используются методы, направленные на сведение к минимуму очевидности манипуляций и измерений. Тесно связана с предыдущей проблема установки на определенный ответ — склонность испытуемого отвечать заранее определенным образом, независимым от содержания задания. К установкам на определенный ответ, характерным для детей, относят «соглашательство», выбор варианта, названного последним, чередование ответов и позиционное предпочтение. Исследователь должен также исключить возможность коммуникации между испытуемыми и диффузии, при которых искажение обусловлено общением испытуемых.

Особенно коварной является ситуация, когда то, что обнаруживает исследователь, зависит от его предположений и ожиданий. Подобные эффекты предубеждений экспериментатора принимают разнообразные формы. Хотя вопрос распространенности этого феномена является спорным, возможность необъективности экспериментатора существует и потому необходимо принимать меры по ее предупреждению. Если есть возможность, нужно проводить «слепое» тестирование, с тем чтобы исключить искажающий эффект ожиданий. Важны также предварительная подготовка и периодическая проверка экспериментаторов, гарантирующие стандартное проведение процедуры исследования.

В некоторых случаях проблемы, обсуждавшиеся в главе, столь серьезны, что от испытуемого приходится отказываться. Рассматривается несколько моментов, связанных с отсевом испытуемых. Во-первых, отсев следует свести к минимуму, так как он может повлиять и на внутреннюю и на внешнюю валидностьисследования. Во-вторых, исследователь должен заранее определить критерии отказа от испытуемого и отразить в своем отчете, сколько испытуемых выбыло и по каким причинам. И наконец, испытуемых нельзя принуждать к продолжению участия в исследовании против их воли.