Анализировать пациентов по лекарству, которое они принимали, а не по лечению, которое было им назначено на стадии рандомизации исследования, — одна из классических ошибок на стадии анализа данных, которая может чудовищно извратить все результаты. С первого взгляда все выглядит достаточно логично: если 30 % пациентов выбыли из процесса и не принимали ваши новые таблетки, они не испытывали на себе никаких положительных эффектов лекарства и не должны включаться в группу, которой был назначен проверяемый препарат.

Но как только вы начинаете задумываться о том, почему люди выбыли из исследования, проблемы этого метода начинают становиться очевидными. Может быть, пациенты прекратили принимать таблетки, потому что они вызывали ужасные побочные эффекты. Может быть, они прекратили прием, так как посчитали препарат недейственным и просто избавились от него. Может быть, больные не стали продолжать назначенный им курс и приходить на консультации, потому что умерли из-за вашего лекарства. Рассматривать пациентов только с позиции лекарства, которое они принимали, значит проводить анализ «по плану». Как показала практика, такой метод значительно завышает полезные свойства лекарств, поэтому не должен использоваться.

Если при проведении итоговых расчетов вы будете относить всех пациентов, которым было прописано ваше лечение (включая выбывших), к группе, принимавшей препарат, тотакой метод будет называться «анализом общей выборки пациентов, начавших проходить лечение». Такой анализ и более консервативный, и имеет гораздо больше смысла, сточки зрения философии. Вы собираетесь использовать результаты вашего лечения для обоснования вашего решения, чтобы предложить какому-либо пациенту принять эти таблетки, а не насильно затолкать их людям в горло. Поэтому необходимо, чтобы результаты были взяты из анализа, при котором люди оценивались по критерию, что им былопрописано врачом, а не по тому, что они в действительности принимали.

Мне посчастливилось оценивать 60 экзаменационных работ — настоящий день сурка, если такой бывает, — в которых пятую часть оценки нужно было заработать путем объяснения метода анализа общей выборки пациентов, начавших проходить лечение. В этом анализе вся суть доказательной медицины, ее программа, поэтому очень странно до сих пор видеть, как проводятся бесконечные анализы «по протоколу», в соответствии с планом исследования, результаты которых заносятся в выпускаемые фармацевтическими компаниями отчеты. В одном систематическом обзоре были сначала изучены все отчеты об исследованиях, поданные компаниями в государственный орган по контролю зараспространением лекарств в Швеции, а затем опубликованные научные работы, относящиеся к тем же исследованиям (если таковые были).23 Все поданные в ведомство документы, за исключением одного, включали как результаты анализа, проведенного с учетом всех пациентов, начавших проходить лечение, таки данные анализа «по протоколу», в соответствии с планом исследования, потому что органы по контролю за распространением лекарств, при всех их огрехах и одержимости секретностью, ведут контроль за методологией немного строже, чем многие научные журналы. Все научные работы, кроме двух, сообщали только об анализе, проведенном «по протоколу» (в соответствии с планом исследования), который завышает полезные свойства лекарства. Именно эту версию читали врачи. В следующем разделе мы рассмотрим еще один пример, как научные журналы вносят свою лепту в завышение результатов. Несмотря на декларируемые ими задачи, что они де являются стражами, следящими за публикацией результатов качественно проведенных исследований, часто такие издания не выполняют свою работу должным образом.Исследования, в которых после завершения изменились основные результаты

Если во время проведения исследования измеряется несколько точек клинической эффективности, но автор расценивает улучшение в любой из них как положительный результат, то такие результаты недействительны. Наши тесты, необходимые, чтобы решить, является ли результат статистически значимым, предполагают, что исследователь измеряет только один параметр, одну точку клинической эффективности. Измеряя десяток параметров (точек клинической эффективности), ученый создает ситуацию, когда у него появляются десятки шансов получить положительный результат вместо одного, но при этом не декларирует это открыто. Получается, что в таком случае исследование является нечестным по своей структуре, и во время его проведения можно будет с большей вероятностью получить положительные результаты, чем они будут проявляться в действительности.

Представьте, что мы играем в кости и договариваемся, пусть даже в одностороннем порядке, о простой вещи: если я выбрасываю две шестерки, вы даете мне 10 фунтов. Я бросаю кубик, и выпадает две тройки, но я все равно требую выплатить мне 10 фунтов, заявляя, что именно об этом мы договорились изначально и что вы должны были мне дать 10 фунтов за выброс двух троек. Вы платите, и все довольны. По такому сценарию ведется сегодня игра в сфере клинических научных исследований. Такая практика, когда люди производят так сказать замену одних изначально установленных точек клинической эффективности на другие, является обычной и общепринятой. А нам, пациентам, приходится мириться с ней.

До проведения клинического исследования нужно написать его план. Это документ, в котором описывается то, что вы собираетесь сделать: сколько участников вы собираетесь набрать, где и как вы будете это сделать, какой препарат будет назначен каждой группе и какие точки клинической эффективности вы будете измерять. В исследовании нужно будет измерять все параметры как возможные точки клинической эффективности: вероятно, будет даже несколько различных шкал оценок для измерения боли, или депрессии, или чего-либо другого, что заинтересует вас (качество жизни или мобильность, которую вы измеряете при помощи какой-нибудь анкеты, смерть по разным причинам,смерть по каждой из ряда представленных причин и прочие параметры).

Все это делается до начала исследования для того, чтобы избежать одной простой проблемы: если вы измеряете много параметров, некоторые из них будут более привлекательными и статистически значимыми просто благодаря возникновению естественных случайных вариаций в данных исследования. Помните, что вы имеете дело с живыми людьми, проживающими в материальном мире, и их болевой порог, глубина депрессии, степень мобильности, качество жизни и т. д. будут разными от человека к человеку по рядупричин, и многие из них не будут иметь ничего общего с вмешательством, последствия от которого вы проверяете в ходе вашего исследования.

Если вы честный исследователь, вы будете использовать статистические тесты специально для выявления истинных полезных свойств лекарства, которое вы проверяете. Вы будете пытаться отличить эти реальные изменения от обычных случайных изменений в фоновых данных, которые вы увидите в результатах ваших пациентов при проведении различных тестов. Больше чем что бы то ни было вы захотите избежать получения ложноположительных результатов.

Традиционная пропорция статистической значимости совпадений 1 к 20. Грубо говоря, объясняя эту формулу простыми словами, если вы проведете одно и то же исследование много раз, используя те же методы, с теми же участниками из той же группы населения, то вы получите такие же положительные результаты, которые наблюдались в одном из 20 исследований, просто по случайности, даже если лекарство не оказывало совсем никакого полезного эффекта. Если вы будете зачерпывать двумя стаканчиками из однойбадьи с красными и белыми шариками, то и дело, чисто случайно, в одном стаканчике будет оказываться необычно мало красных шариков, а в другом — необычно много красных шариков. То же самое происходит и при измерении параметров здоровья пациентов: будут встречаться некоторые случайные вариации, и иногда все будет выглядеть так, как будто одно лекарство лучше другого, с точки зрения улучшения параметров организма, но на самом деле такое улучшение будет случайным. Статистические тесты разработаны для того, чтобы не дать этим самым случайным колебаниям параметров организма сбить нас с толку.