О пользе «чистых экспериментов»
Некоторые наиболее важные и драматические иллюстрации ценности формального (выполненного по всем правилам) экспериментирования и тех угроз, которые таят в себе «клинические» методы исследования, получены в медицине. Классическим примером служит история исследования эффективности «портокавального шунтирования». Прибегнув к нечасто применяемому методу метаанализа, Грейс, Мюнх и Шальмер (Grace, Muench & Chalmers, 1966) сопоставили выводы, к которым пришли исследователи, использовавшие различные методологические схемы для оценки эффективности популярного некогда метода хирургического лечения цирроза печени. Метод заключался в соединении воротной вены пациента непосредственно с его полой веной{24}. Результаты произведенного сопоставления приводятся в таблице.
Таблица
Анализ исследований
Экспериментальная схема
Примечание. Выводы 51 исследования эффективности портокавального шунтирования зависели от схем организации исследований. Корректно проведенные сопоставления показывают, что операция имеет незначительный эффект либо она вообще неэффективна. Некорректно спланированные исследования преувеличивают эффективность хирургического вмешательства. (В таблице обобщены данные, приводимые в следующих работах: Grace, Muench & Chalmers, 1966, p. 685; Freedman, Pisoni & Purves, 1978, p. 8.)
Мы видим, что в 32 случаях, составляющих большую часть общего числа опубликованных отчетов (51), исследователи полагались на стандартные для клинической практики процедуры оценки.
Иными словами, в своих заключениях исследователи исходили из количества случаев улучшения или случаев отсутствия улучшения, имевших место у совокупности пациентов, которым была сделана операция (хотя, предположительно, исследователи каким-то образом учитывали информацию и о тех больных, которым операция сделана не была). Как явствует из таблицы, практически все исследователи пришли к положительному заключению об эффективности портокавального шунтирования.
Во второй по численности группе исследований (15 исследований во второй строке таблицы) ученые прямо сравнивали состояние пациентов, перенесших операцию, с состоянием пациентов, которые операции не подвергались, хотя больные циррозом печени не были распределены по этим двум группам случайным образом. Подобный метод сравнения вновь привел большинство исследователей к положительным выводам. Только четыре исследования были основаны на методе случайного распределения испытуемых по разным экспериментальным условиям, использование которого необходимо, чтобы подобный эксперимент мог быть признан «чистым». Именно они позволили медикам прийти к правильному заключению. Оно сводилось к тому, что портокавальное шунтирование не приносило пациентам вообще никакой пользы и, следовательно, на получение положительных результатов при использовании менее корректных методов сравнения оказали влияние либо «эффекты плацебо» (которые мы еще будем обсуждать ниже), либо тенденциозности, возникающие из-за неслучайного отбора пациентов в группу, которая подвергалась хирургическому вмешательству.
Некоторые из возможных тенденциозностей становятся вполне очевидными, стоит лишь обратить на них внимание. Если какой-либо новой лечебной процедуре должна подвергнуться лишь часть пациентов, то вероятность того, что отобранные для нее люди окажутся «хорошими кандидатами», будет весьма высока. То есть эти пациенты не будут страдать другими заболеваниями, способными осложнить лечение или повлиять на оценку его результатов; им будут свойственны позитивные аттитюды и они с большей вероятностью будут следовать предписаниям врачей. Возможно даже, что этими пациентами окажутся люди, чьи семьи будут оказывать им всестороннюю поддержку, желая, чтобы их родственники получили новейшее и наилучшее на данный момент лечение. И когда окажется, что все эти «хорошие кандидаты» продемонстрировали лучшее послеоперационное состояние по сравнению с больными, получающими стандартное лечение (либо не получающими вовсе никакого), различия между ними могут иметь лишь очень небольшое отношение (а может быть, и вообще никакого) к терапевтическим преимуществам нового метода лечения. Вместо этого упомянутые различия станут попросту отражать преимущества «хороших кандидатов» в плане изначального состояния их здоровья, степени их готовности следовать врачебным предписаниям или наличия поддержки со стороны родственников. Влияние тенденциозностей, похожих на вышеупомянутые, ощущается в социальных экспериментах, когда, например, уровень рецидивизма среди «подходящих» или «заслуживающих этого» заключенных, которые были включены в специальную программу социальной реабилитации, сравнивается с уровнем рецидивизма среди тех, с кем обращались стандартным образом.
Хотя у исследований конкретных случаев (case studies) и плохо организованных сравнений есть свои недостатки, они по крайней мере оберегают нас от опасности иллюзорного представления о том, что можно обойтись вообще без исследовательских данных. Трагическая история социальной программы, не имеющей под собой ничего, кроме здравого смысла и добрых намерений, хорошо прослеживается на примере строительства многочисленных «башен посреди парка», которые были очень популярны в 50-е и 60-е годы как способ «расчистки трущоб». Положенная в их основу логика казалась очевидной. Берем городской квартал, застроенный осыпающимися трех- и четырехэтажными многоквартирными домами, и переселяем живущих в них людей в одну двадцатиэтажную башню, которую строим в центре квартала, превратив освободившееся место в детские площадки и парки. После этого садимся отдыхать, пожиная социальные плоды, которые обязательно должно принести подобное «усовершенствование» среды обитания.
Однако планировщики в своем благонамеренном, но неискушенном ситуационизме не смогли учесть тонко сбалансированной экологии старомодных кварталов многоквартирных домов. Объективные физические условия существования в таких домах могли быть ужасающими, но при этом каждый из живущих в них людей был знаком со всеми остальными, поддерживая отношения с ними в ходе ежедневного общения. Для жителей этих домов имело значение доброе мнение соседей, социальные же нормы распространялись и насаждались в них так, как это происходит в любом нормально функционирующем сообществе людей. Более того, каждый очень хорошо знал, что происходит и перед домом, и в его закоулках, а матери могли, выглянув в окно, видеть, что их дети спокойно играют на тротуаре либо сидят на крыльце.
Будучи помещенной в стерильную башню, вся эта напряженная система оказалась разрушенной. Уровень неформальных социальных влияний и групповой сплоченности резко снизился, поскольку люди имели теперь минимум возможностей развивать личные отношения и наблюдать за повседневным поведением друг друга. Неугодных пришельцев и преступников уже нельзя было вынудить убраться из дома, потому что их было уже трудно отличить от других членов сообщества, а также потому, что социально изолированные жители не склонны были чувствовать себя ответственными за решение коллективных проблем. Молодежь была вынуждена сидеть заточенной в своих квартирах либо безнадзорно слоняться по зданию или укромным уголкам парка. Вскоре аномия, страх и отчаяние, не говоря уже о вандализме, довершали социальную и физическую деградацию и так уже нищего сообщества, представлявшего собой до этого, несмотря ни на что, жизнеспособную социальную систему.
По прошествии 20 лет после этого смелого, но злополучного вмешательства в жизнь бедняков правительство приступило к сносу разрушенных башен. Финансовые издержки этого безумия исчисляются сотнями миллиардов долларов. С точки же зрения человеческого страдания, издержки подсчету не поддаются. Думается, что уплаты этой страшной дани можно было бы избежать, выстроив полдюжины подобных башен в разных городах и оценив затем, насколько успешным оказался эксперимент, т.е. пронаблюдав за благополучием их жителей и обитателей ближайшей округи на протяжении по крайней мере двух лет, прежде чем принимать решение об осуществлении какого-либо крупномасштабного проекта по искоренению трущоб.
