На конференции организации Human Brain Mapping в Сан-Франциско в 2009 году одна научная работа молодых психологов недолговременно и развлекла, и разозлила публику. В стендовом докладе на тему «Построение модели и анализ» Крейг Беннетт, Майкл Миллер и Джордж Уолфорд представили своим коллегам – исследователям мозга поучительную работу. Ее название: «Нейронные корреляты межвидового восприятия мертвого атлантического лосося: аргумент в пользу поправки на множественные сравнения»[152].

Порядок проведения эксперимента был действительно инновационным. Психологи поместили в МРТ-сканер зрелую особь атлантического лосося (Salmo salar) и во время измерения показывали ему серию фотографий, изображающих людей в социальном взаимодействии. Обнимающихся, жмущих друг другу руки, спорящих и так далее. Точно так же, как это обычно делается при проведении исследований в области «социальных нейронаук». Однако пикантность эксперимента Беннетта и его коллег заключалась в том, что лосось в сканере давно умер. Получив данные фМРТ о восприятии мертвой рыбой вариантов социального человеческого взаимодействия, авторы провели стандартный статистический анализ, как это обычно делается в исследованиях такого рода[153]. В результате в мозге мертвого лосося были вычислены несколько сопряженных участков повышенной активности. И это при вполне обиходном уровне статистической значимости p = 0,001. На томограмме лосося зоны активности мозга выглядели как красные «капли», так же, как это бывает на других фМРТ-изображениях.

Что есть, то есть. Неужели мертвый лосось способен на межвидовое восприятие? Очень маловероятно. Авторы, которым не откажешь в чувстве юмора, хотели показать нечто совсем другое. А именно то, что почти наверняка получаются ложноположительные результаты, если не корректировать статистические данные с учетом поправки на множественные сравнения. Если бы перед анализом психологи скорректировали данные фМРТ по всем правилам статистического искусства, из мозга мертвого лосося исчезли бы все ложноположительные сигналы.

«Лосось сомнений», как он был прозван в профессиональной среде[154], является впечатляющим стимулом для последовательного использования вышеупомянутой статистической коррекции визуализационных данных. В ответ на исследование мозга лосося некоторые нейроученые нервно ответили, что это уже хорошо известно и что соответствующие поправки якобы приняты как должное в научной практике.

То, что дела обстоят совершенно иначе, показывает ретроспективный обзор фМРТ-исследований, опубликованных в таких известных журналах по нейровизуализации, как Cerebral Cortex, NeuroImage или Human Brain Mapping[155]. Доля работ, в которых не было сделано никакой поправки на множественные сравнения, колебалась между 25 и 40 %. Сколько красных и синих пятен на фМРТ-изображениях из этих исследований являются просто техническими и расчетными артефактами, вероятно, останется неизвестным.

В научной практике большинство исследователей хотят как можно меньше корректировать получаемые результаты визуализации, так как легко потерять даже настоящие свидетельства мозговой активности. Это тема для размышления. Определенно целесообразным представляется предложение приводить в научных публикациях как исправленные, так и неоткорректированные данные. У читателя-специалиста тогда была бы возможность самостоятельно решить, каким данным он доверяет. Во всяком случае, лосося Крейга Беннетта это бы не огорчило. Он был съеден экспериментаторами в день МРТ-сканирования.

Из профессиональных кругов приходит и другая критика применяемых методов. Например, указывается, что многие визуализационные исследования проводятся без какой-либо первоначальной гипотезы. О том, что подавляющее большинство исследований проходят без конкретных, поддающихся проверке исходных предположений, говорил и популярный индийский невролог Вилейанур Рамачандран: «98 % нейровизуализаций – это слепое блуждание в темноте»[156]. Как гласит популярное возражение, данные, полученные бессистемно, позднее могут использоваться во множестве статистических расчетов. И это до тех пор, пока не будет обнаружено что-то значимое (испытанная стратегия «если данные долго пытать, то они признаются»). Далее оценивается масштаб выявленного результата, а затем подбирается объяснение, почему активен именно этот участок мозга.

Короче говоря, рыба ловится в мутной воде, а затем делается вид, что цель поиска была известна с самого начала. До сих пор среди исследователей нет единого мнения, какой статистический метод и способ интерпретации следует применять к тем или иным полученным данным визуализации. Не говоря уже об обязательных нормах. Диапазон возможных подходов очень велик. Это важная проблема, которая по-прежнему не решена. Потому что, если даже минимально изменить исходные параметры, можно легко получить совершенно другой результат. При этом все предшествующие произвольно подобранные этапы процесса не видны в итоговом изображении, так что оно кажется результатом строго эмпирических измерений, который мог получиться только таким и никаким другим.

Еще больше шума, чем юмористическое фМРТ-исследование мертвого лосося, вызвала в 2009 году методологическая работа Эдварда Вула и его коллег из Массачусетского технологического института. Когнитивные психологи очевидно намекали на свое противостояние с коллегами из сферы «социальных нейронаук». Первоначальное название их работы было «Вуду-корреляции в социальных нейронауках». Однако по просьбе журнала, в котором позднее появилась статья, название было изменено на «Удивительно высокие коэффициенты корреляции в фМРТ-исследованиях эмоций, личности и социального познания»[157].

Что критиковали авторы статьи? Вул и его коллеги предположили использование магии вуду при выявлении «таинственно» высоких значений взаимосвязи отдельных групп личностей или определенного поведения и сигналов мозга, продемонстрированных социальными нейроучеными в своих исследованиях. После предварительного отбора Вул и его коллеги связались с авторами 54 работ и опросили их о статистических методах, использованных ими в фМРТ-исследованиях.

Как утверждали психологи, более чем в половине случаев ученые использовали корреляционные методы, систематически искажавшие фактические связи и показывавшие слишком высокие значения взаимозависимостей, чтобы быть правдой. В деталях проблема, описанная Вулом и его коллегами, касается продвинутых специалистов по статистике[158]. Чтобы наглядно ее представить, можно привести притчу о техасском ковбое. Представьте головореза, стреляющего без разбора в складские ворота. Затем он рисует цель вокруг тех пулевых отверстий, которые находятся ближе друг к другу. Таким образом в результатах стрелка появляется сразу несколько прямых попаданий.

Аналогичным образом, по мнению авторов статьи, происходит выявление корреляций при фМРТ-экспериментах. При этом авторы не ограничились обычной методологической критикой. Они даже призвали предполагаемых исказителей статистических данных пересчитать результаты своих исследований: «Мы показываем, как данные этих исследований могут быть повторно проанализированы с помощью неискажающих методов… Мы настоятельно призываем авторов провести такой повторный анализ и уточнить научные записи»[159]. Настоящая провокация, если учитывать, что все исследования и авторы упоминаются в конце статьи. Среди них много знаменитостей в области «социальных нейронаук», имеющих публикации в таких ведущих журналах, как Science, Nature или Human Brain Mapping. Атакованные, конечно, быстро защитили себя и осудили работу Вула как ошибочную и некорректную. Научный спор продолжается и по сей день.