Но предположим, что мы имеем дело с ситуацией, не соответствующей ни одному из вышеперечисленных исключительных случаев. Допустим, мы работаем с испытуемыми одного возраста, имея четкий план действий, контролируя ситуацию, не изучая нечто новое, а пытаясь с максимальной точностью определить, каким образом связаны некие переменные. Есть ли основания в этом случае строго придерживаться стандарта? Или существует, даже здесь, такое понятие, как излишняя стандартизация?

Кэмпбелл и Стэнли (Campbell & Stanley, 1966) полагают, что сверхстандартизация действительно бывает. Приведенный ими пример касается исследования способности к убеждению, в котором сравнивается эффективность обращения к рассудку и эмоциям. Чтобы произвести стандартизацию, исследователь решает записать на магнитофон по одной версии обращения обоих типов; таким образом, всем испытуемым в определенной экспериментальной ситуации предъявляется один и тот же стимул. Такой контроль кажется желательным, поскольку мы должны были бы знать наверняка, что представляют из себя определенные экспериментальные условия. Однако в действительности решение сохранять ситуацию неизменной означает отказ от возможности выяснить, какие именно аспекты экспериментальных условий объясняют обнаруженный эффект. Возможно, имеет значение тот фактор, который мы намеревались изучить: обращение к эмоциям или к рассудку. Но возможно, что имеет значение пол говорящего, или некоторые особенности его голоса, тон или темп его речи. Возможно также, имеет значение определенное сочетание вышеперечисленных качеств — к примеру, апеллирование к эмоциям колоритным мужским голосом. Суть в том, что любой фактор, одинаковый для всех испытуемых, потенциально становится частью независимой переменной. Предпочтительнее в такой ситуации допустить разнообразие этих дополнительных факторов (пола, особенностей голоса и т. д.), в то же время оставляя неизменным фактор, который нас действительно интересует: характер обращения. Тогда любой обнаруженный эффект можно с большей уверенностью объяснить характером обращения.

Понятно, что сверхстандартизация может быть причиной искажения внешней валидности. В описанном выше исследовании цель — получить в той или иной мере обобщенные выводы относительно эффективности апелляции к рассудку или эмоциям. Для нас нежелательно, чтобы результаты зависели от индивидуальных качеств говорящего или от способа подачи текста, так как полученные в этом случае выводы нельзя считать справедливыми для конкретного исследования.

Трудности, создаваемые сверхстандартизацией, доказывают значение, которое в научном исследовании имеет воспроизведение. При воспроизведении, по определению, сохраняются неизменными те характеристики, на изучение эффекта которых направлено само исследование; к примеру, обращение к эмоциям или к рассудку в гипотетическом исследовании эффективности убеждения. В то же время другие характеристики практически неизбежно изменяются, особенно если исследование воспроизводит другой исследователь, в другой лаборатории. Поэтому человек, выступающий в роли убеждающего, скорее всего будет другим, как и экспериментатор, взаимодействующий с испытуемыми, а также помещение, в котором проводится эксперимент, время года и т. д. Обнаружив те же эффекты эмоционального и рационального убеждения, несмотря на все изменения, мы сможем более уверенно говорить о том, что тот или иной результат действительно обусловлен характером обращения. И наоборот, если бы нам не удалось воспроизвести изначально полученные результаты, это означало бы, что параметры процедуры, считавшиеся несущественными, в действительности не так уж несущественны.

Когда сверхстандартизация становится проблемой в исследовании психологии развития? Пожалуй, чаще всего в случаях, аналогичных тем, которые описали Кзмпбелл и Стэнли: когда все данные собирает один экспериментатор. В обзоре журналов по психологии развития (табл. 1.3) учитывалось в том числе и количество экспериментаторов, принимавших участие в исследованиях, в которых могли иметь значение характеристики экспериментатора. В 30 % отчетов из тех, в которых имелась подобная информация, указывалось на наличие одного экспериментатора; только в 22 % случаев количество экспериментаторов достигало четырех. Обратите внимание, что по меньшей мере 69 % статей при данном подсчете не учитывалось, поскольку в них не содержалась информация о количестве экспериментаторов; в действительности в 52 % отчетов вообще отсутствовала какая-либо информация об экспериментаторах.

Неудивительно, что исследования, проводимые одним экспериментатором столь распространены. Использование одного экспериментатора требует меньше расходов, меньше времени на подготовку и не связано с проблемой составления графика проведения исследования и подбора экспериментаторов. Каким бы заманчивым ни казался этот выбор, всегда помните о том, что если экспериментатор работает в одиночку, то становится константным элементом экспериментальной процедуры, элементом, который может влиять на результаты исследования. Совпадение результатов, полученных разными экспериментаторами, служит залогом внешней валидности исследования.

Мы пришли к заключению, что недостаточная или чрезмерная стандартизация может создать определенные проблемы. В этом разделе будет рассмотрено еще несколько, теперь уже более специфических причин искажения валидности. При этом я ссылаюсь на работы Кэмпбелл и Стэнли (Campbell & Stanley, 1966), а также Куки Кэмпбелл (Cook & Campbell, 1979), выводы которых сведены в табл. 2.4. Мы проанализируем четыре специфические причины: инструментарий, систематическую ошибку при отборе испытуемых, фактор истории и реактивность.

Как отмечалось в главе 4, инструментарий — это фактор изменения физических инструментов измерения либо экспериментаторов и наблюдателей в ходе проведения исследования. Поэтому он попадает в категорию неудовлетворительной стандартизации: некоторый аспект процедуры, который должен быть неизменным, в Действительности изменяется в процессе исследования. Хотя в некоторых случаях изменения затрагивают инструментарий в буквальном смысле (например, секундомер, неисправно работающий в сырую погоду), чаще всего изменения касаются человека, выполняющего роль экспериментатора или наблюдателя. К примеру, в ходе исследования экспериментатор приобретает мастерство и уверенность при инструктировании испытуемых. Или наоборот, процесс работы утомляет и разочаровывает экспериментатора, и он начинает допускать небрежности. В любом случае, процедура, которую проходят первые испытуемые, будет отличаться от той, которую проходят следующие.

Наибольшее значение проблема инструментария приобретает тогда, когда изменения, происходящие в ходе исследования, смешиваются с одной из изучаемых независимых переменных. Рассмотрим исследование, в котором осуществляется сравнение успешности выполнения 1 -классниками и 2-классниками некой экспериментальной задачи. Исследователь решает протестировать большинство или всех 1-классников прежде, чем тестировать 2-классников. Для этого может быть множество причин: возможность работать только с одним учителем в одном кабинете, получение разрешения родителей только в одном классе, «нетерпение пойти поиграть* детей из одной группы, желание учителей, чтобы тестирование в их классе прошло как можно быстрее, и т. д. Однако исследователь, уступающий давлению факторов удобства, рискует упустить из вида потенциально значимый источник смещения. Если есть хоть какая-то вероятность изменения экспериментатора в ходе проведения исследования, различия между 1- и 2-классниками нельзя будет интерпретировать однозначно.