В каждом исследовании есть переменные и отношения между ними. Поэтому, когда мы хотим описать исследование, центральным является конструкт переменных: какого вида различия изучаются и какими способами? Если мы хотим выйти за рамки описания и перейти к оценке исследования, центральным конструктом становится валидность. Вопрос валидности — это вопрос точности: направлено ли исследование на изучение того, что, как предполагается, изучается с его помощью? Все обсуждаемые в книге частные методологические моменты возвращают нас к базовому вопросу точности выводов, которые делаются на основе исследования.

Существует множество форм валидности (Cook & Campbell, 1979). В этой главе рассматриваются три: внутренняя, внешняя и конструктная. В главе 7 к ним добавляется еще одна форма: валидность статистического вывода.

Внутренняя валидность характеризует внутренний контекст исследования. Речь идет о том, действительно ли независимые переменные связаны с зависимыми так, как это предполагается. Получим ли мы правильные выводы о причинном воздействии (или отсутствии причинного воздействия) одних переменных на другие? Возьмем в качестве примера исследование Дюфресна и Кобасигавы. Их выводы внутренне валидны, если трудные пары действительно требовали больше времени на запоминание, если среднее время запоминания действительно увеличивалось как функция от возраста и если способность отличать легкие пары от трудных действительно улучшалась с возрастом. Если существует альтернативное объяснение любого из этих выводов, тогда внутренняя валидность исследования ставится под сомнение. Предположим, что испытуемые 7-классники были бы в основном из классов для «одаренных» детей, а младшие дети обладали бы средними способностями. Тогда у нас было бы альтернативное объяснение кажущемуся улучшению с возрастом: различия отражают не естественные возрастные изменения, а разницу в уровне способностей. (Эта проблема называется «систематической ошибкой отбора», далее она обсуждается подробнее.)

Вопрос внешней валидности — это вопрос возможности обобщения. Поэтому он встает, как только мы выходим за рамки конкретного исследования. Теперь важно, правомерны ли полученные выводы для другой выборки, других ситуаций и другого поведения — не для любых, конечно, выборок, ситуаций и поведения, а для тех, результат изучения которых, по нашему мнению, должен быть прогностичным. Возьмем, к примеру, исследование Черри и Парк. Их результаты внешне валидны, если у молодых людей действительно в целом лучше пространственная память, а также, если и молодым и пожилым действительно в целом помогает отчетливость и выразительность фона. В обоих случаях «в целом» означает то, что данное явление обнаруживается во всех выборках молодых и пожилых людей, при любых способах измерения пространственной памяти и при любых признаках фона. Если какой-то из результатов нельзя принять за правило по какому-либо параметру, тогда этот результат внешне невалиден. Возможно, к примеру, что характеристики фона имеют значение только в «мелкомасштабной» среде, таких как масштабы предъявлявшиеся Черри и Парк модели и схемы, а также, что этот эффект не сравним с ситуацией естественных размеров предметов обстановки в реальной жизни. Если бы это ограничение имело место (в другом исследовании было показано, что это не так), тогда исследование Черри и Парк ограничивало бы внешнюю валидность.

Добротное исследование должно отвечать требованиям и внутренней, и внешней валидности. Как замечают Кэмпбелл и Стэнли (Campbell & Stanley, 1966), «внутренняя валидность — это базовый минимум, без которого невозможно интерпретировать ни один эксперимент» (р. 5). С точки зрения логики, при отсутствии внутренней валидности невозможно обобщить результаты исследования, поскольку они вообще невалидны. Однако внешняя валидность также играет огромную роль. Внутренне валидные выводы бессмысленны, если они не работают за пределами экспериментальной ситуации.

Внутренняя валидность также является необходимым условием третьей формы валидности — конструктной. Конструктная валидность имеет отношение к теоретической точности: правильно ли мы объясняем причинно-следственные связи, которые были обнаружены в исследовании? Иными словами, если допустить, что выводы внутренне валидны, знаем ли мы, почему получили определенные результаты? Предположим, мы уверены в том, что манипуляции с контекстом в исследовании Черри и Парк действительно обусловливают различия в успешности запоминания. Почему контекст имел значение? Вероятно, наиболее очевидное объяснение — которым руководствуются в большинстве подобных исследований — заключается в том, что важны именно отчетливость и детальность визуальной информации: местоположение предмета лучше всего запоминается тогда, когда он помещен в достаточно дифференцированную среду. Однако вероятно и другое обоснование. Возможно, модель была более интересна и привлекательна, чем схема, что вызывало более пристальное внимание, а отсюда лучшее запоминание. Согласно этой точке зрения, любые манипуляции, которые повышают уровень внимания, должны повышать и успешность выполнения задания вне зависимости от отчетливости фона или наличия ориентиров. Возможно также, что испытуемые чувствовали себя более уверенно перед пространственной моделью, так как она более привычна, чем абстрактная схема, и именно повышение уверенности улучшало результаты. Если правдоподобные альтернативные объяснения нельзя исключить, тогда исследование характеризует недостаточная конструктная валидность. Сказанное выше — всего лишь предварительные замечания о конструктах, которые в дальнейшем мы будем рассматривать с разных точек зрения. Пока же сделаем еще одно замечание, касающееся валидности. Оно имеет отношение к трудности достижения в одном исследовании всех форм валидности. Эта трудность обусловлена тем, что меры, принимаемые исследователем с целью повышения одной формы валидности, работают против другой формы. Необходимость компромиссного выбора наиболее очевидна в отношении внутренней и внешней валидности. В целом, чем жестче контроль, тем выше внутренняя валидность исследования — то есть тем больше уверенности может быть у экспериментатора в том, что переменные связаны между собой именно так, как он предполагает. В то же время искусственный характер ситуации жестко контролируемого эксперимента ставит под угрозу возможность перенесения результатов на внелабораторные условия. И наоборот, исследование, проведенное в естественной обстановке при естественном поведении, не ставит под сомнение возможность обобщения, поскольку ситуации, на которые исследователь хочет перенести свои выводы, максимально приближены к тем, которые он изучает. Однако недостаток экспериментального контроля может крайне затруднить установление валидных отношений.

При принятии решений, касающихся переменных, нужно отвечать на вопрос «какие»: какие независимые переменные я буду изменять и какие потенциальные следствия этих изменений я буду измерять? Но важен также ответ на вопрос «кто»: на ком я буду изучать связи между независимыми и зависимыми переменными?

Формирование группы участников эксперимента называется отбором. Отбор важен по причине ограниченности рамок исследования. За очень редкими исключениями психологи не имеют возможности обследовать всех людей, которые их интересуют. Изучающий период младенчества, к примеру, не будет обследовать всех младенцев в мире, даже всех, родившихся в США, или (вероятно) даже тех, кто родился в определенном регионе. Вместо этого он обследует выборку, на основе результатов которой он надеется сделать общие выводы об интересующей его популяции. Обобщение правомерно, если выборка репрезентативна в отношении популяции. Это, как явствует, вопрос внешней валидности.

Как исследователю убедиться в том, что выборка репрезентирует популяцию? Следуя логике, сначала нужно определить, что представляет из себя сама популяция. Она необязательно должна быть столь велика, как все младенцы мира, скорее всего это что-то вроде «всех доношенных 3-месячных младенцев США». Следующим Шагом после очерчивания границ популяции является случайный отбор. Как подразумевает сам термин, случайный отбор означает, что представители популяции имеют равные шансы попасть в выборку. При этом наиболее вероятно, что в результате процесса отбора характеристики выборки будут отражать