Конвергентная (сходящаяся) валидность

Когда несколько различных оценок сходятся к одному заключению, то говорят, что эти оценки имеют конвергентную валидность. Если вы, например, хотите измерить харизму – психологическое качество, несколько большее, чем просто обаяние, и присущее, как считается, столь разным людям, как Тина Тернер, Пол Маккартни и Роберт де Ниро, – вам потребуется, чтобы ваши оценки были конвергентными. Вы должны выбрать такой способ оценки харизмы, чтобы высокую оценку получали люди, которых выбирают на посты лидеров и которые обладают другими личными характеристиками, обычно связанными с харизмой. Если согласно условиям вашего теста высокий результат получит девушка, не пользующаяся успехом в вашем классе, то вам надо еще раз задуматься о валидности теста.

Люди, не занимающиеся научной работой, тоже должны помнить о необходимости конвергентной валидности. Для того чтобы заключить, что ваша одноклассница Уилла Мэй застенчива, потому что колеблется перед тем, как заговорить с вами, надо выяснить, проявляется ли ее застенчивость в других местах и с другими людьми. Если она часто поднимает руку и выступает на занятиях, то вы не можете сделать вывод о ее застенчивости, поскольку такая непоследовательность в поведении указывает на отсутствие конвергентной валидности.

Идея конвергентной валидности весьма напоминает конвергентную структуру аргументации, которая рассматривалась в главе 5. Если вы уже прочитали главу 5, то помните, что сила аргументации увеличивается, если заключение поддерживают (или к нему сходятся) много посылок. Точно такая же ситуация возникает, когда несколько источников данных подтверждают одну гипотезу. В этих случаях используется различная терминология (поддержка заключения и подтверждение гипотезы), но за ней стоит одна и та же мысль: чем больше доводов или свидетельств мы можем привести в пользу истинности какого-либо утверждения, тем сильнее может быть наша уверенность в его истинности.

Все жалуются на память, но никто не жалуется на свои суждения.

Ларошфуко (1613-1680)

Как специалисты, так и неспециалисты испытывают глубокую уверенность в своих выводах о большинстве жизненных событий, даже если эта уверенность не обоснована объективными данными. Чрезмерная уверенность в суждениях называется мнимой валидностью. При экспериментальном исследовании этого явления Оскамп (Oskamp, 1965) обнаружил, что, по мере того как врачи получали все больше информации о своих пациентах, они испытывали все большую уверенность в своих суждениях об этих пациентах. Этот результат любопытен тем, что суждения не становились точнее, – врачи лишь больше верили в свою правоту. Почему люди доверяют ошибочным суждениям? Существует несколько причин, по которым мы упорно сохраняем уверенность в своих суждениях. Одним из главных факторов является селективная природа памяти. Рассмотрим эпизод из моих личных воспоминаний: когда я была маленькая, я часто смотрела с отцом по телевизору матчи по бейсболу с участием команды Philadelphia Phillies. Как только очередной игрок с битой приближался к базе, мой отец восхищенно кричал: «Он сейчас забьет, я точно знаю!» Конечно, чаще всего он ошибался. (Болельщикам Phillies в 1950-е и 1960-е гг. приходилось туго.) В тех редких случаях, когда игрок действительно забивал, мой отец потом неделями рассказывал об этом: «Да, как только он подошел к базе, я понял, что он сейчас забьет. Мне всегда это ясно, стоит только взглянуть на игрока». В этом и в огромном количестве других случаев мы выборочно вспоминаем свои удачные суждения и забываем неудачные. Это поддерживает нашу уверенность в собственных суждениях.

Второй причиной мнимой валидности является то, что мы не ищем и не учитываем противоположную информацию. (Дополнительное обсуждение этого явления будет проведено в главе 8.) Это основная причина, по которой люди склонны верить, что между переменными существует корреляция, когда на самом деле ее нет. Допустим, вы работаете в отделе кадров большой корпорации. В течение года вы приняли на работу в корпорацию 100 новых сотрудников. Как проверить, насколько правильные (валидные) решения вы приняли, наняв их? Большинство людей для этого проверили бы, как работают эти новые сотрудники. Предположим, что вы провели такую проверку и обнаружили, что 92% из них выполняют свою работу компетентно и профессионально. Усиливают ли эти выводы вашу уверенность в своих суждениях? Если на этот вопрос вы ответили «да», то вы забыли рассмотреть противоположные данные. Вы не учли тех людей, которых вы не приняли на работу. Может быть, большинство из них стали вице-президентами в компании «Дженерал Моторс»? Если вы обнаружите, что 100% из тех, кого вы не взяли на работу, занимают высокие посты в компании ваших конкурентов, то вам необходимо пересмотреть свою уверенность в умении судить о людях.

Мы не учитываем противоположную информацию частично из-за того, что во многих случаях ее невозможно получить. У работников отделов кадров нет информации о тех сотрудниках, которых они не взяли на работу. Аналогичным образом мы не располагаем большим количеством данных о человеке, с которым решили не встречаться, или о предмете, лекции по которому решили не посещать, или о доме, который не купили. Таким образом, имея лишь часть информации, мы можем заключить, что наши суждения лучше, чем они есть на самом деле.

Проведя критический обзор теста Роршаха (обычно этот тест называют «тестом чернильных пятен», потому что испытуемых просят сказать, что они видят в бесформенных симметричных чернильных пятнах), Доус (Dawes, 1994) пришел к выводу, что этот тест не является валидной оценкой умственного функционирования. Он не нашел подтверждений его полезности при диагностике или лечении умственных расстройств (хотя с помощью этого теста можно выявить людей, которые дают необычные ответы). Это означает, что тест Роршаха не валиден. Однако Доус сообщает, что некоторые психотерапевты так прореагировали на эти эмпирические результаты: «Да, я знаю, что тест не валиден, но я нахожу его полезным». Вам не кажется смешным такое утверждение? Если тест не валиден, то он не может быть полезным. Если психотерапевты считают его полезным, они обманывают себя и демонстрируют пример мнимой валидности. Тест может казаться им полезным, поскольку они интерпретируют ответы пациентов способами, которые, по их мнению, имеют смысл, но его реальная ценность заключается лишь в наглядной демонстрации нашей приверженности к стереотипным мнениям.

Надежность оценки – это постоянство, с которым она оценивает именно то, что нужно оценить. Если бы вы для измерения длины своего стола пользовались резиновой линейкой, которая может растягиваться или сжиматься, то при каждом измерении вы, вероятно, получали бы разные результаты. Конечно же, мы хотим, чтобы наши измерения были надежными.

Ученые, занимающиеся общественными и естественными науками, уделяют большое внимание проблеме надежности измерений. Например, тест интеллекта считается надежным тогда, когда один и тот же человек получает результаты, которые лежат в одном и том же диапазоне при каждом тестировании. Когда мы выступаем в роли «интуитивного ученого», мы редко учитываем надежность. Приходя к выводу о необъективности преподавателя или студента, мы часто полагаемся на один или два примера поведения без учета надежности нашей оценки этого человека.

Предположим, вы узнали, что ваш друг Рикардо провалился на экзамене, который все остальные легко сдали. Можете ли вы заключить, что его преподаватель с предубеждением относится к латиноамериканцам? Для этого необходимо собрать много других наблюдений за преподавателем и выяснить, насколько часто латиноамериканцы проваливаются у него на экзаменах. Если процент таких провалов в его классе необычно высок по сравнению с другими классами, то у вас есть веские основания заключить, что преподаватель с предубеждением относится к латиноамериканцам. Без тщательных измерений и, в данном случае, без выборки большего размера вы не можете сделать вывода о необъективности преподавателя.