Разоблачение псевдонаучных истин: (продвинутый курс)

Разоблачение псевдонаучных истин: (продвинутый курс)

Итак, у вас есть таблетка…

Автор этой главы – доктор Бен Голдэйкр, с 2003 года ведущий еженедельную рубрику Bad Science («Плохая наука») в газете Guardian. За статистические исследования в журналистике он получил премию Королевского статистического общества. Этот доктор медицины, помимо всего прочего, специализируется на проверке подозрительных научных притязаний журналистов, действующих методами запугивания, а также на разоблачении сомнительных отчетов правительства, коварных фармацевтических корпораций, пиар-агентств и шарлатанов.

У вас есть таблетка. Отлично: не будучи панацеей, тем не менее она способна принести большие деньги. Вам нужно доказать ее положительный эффект, но ваша аудитория отнюдь не гомеопаты, журналисты или широкая публика: это врачи и ученые, натренированные выискивать явные уловки, такие, как «слепой метод не применялся» или «недостаточная рандомизация». Ваши пассы руками, ваши приемы должны быть гораздо более элегантными, более утонченными, но ничуть не менее эффективными.

Что вы можете предпринять?

Ну, во-первых, проводить исследования на потенциальных победителях. Люди по-разному реагируют на препараты: старики, напичканные лекарствами, зачастую безнадежны, у молодежи заметные улучшения более вероятны. Значит, изучайте действие препарата только на последнюю группу. В итоге ваши исследования станут в меньшей степени применимы для людей в целом, которым врачи прописывают подобные лекарства, но к счастью, они ничего не узнают. Случай настолько распространенный, что не заслуживает даже упоминания в качестве примера.

Далее результаты действия препарата можно сравнить с бесполезными контрольными. К примеру, многие скажут, что ни в коем случае нельзя сравнивать препарат с плацебо, так как полученные результаты клинического значения не имеют: в реальном мире никому нет дела до того, что ваш препарат лучше сахарного шарика, – главное, чтобы он был лучше самого лучшего из имеющихся средств. Но вы уже потратили сотни миллионов долларов, чтобы вывести свой препарат на рынок, так что действуйте: проведите уйму плацебо-контролируемых испытаний, раздуйте вокруг них побольше шумихи, так как они практически гарантируют ряд положительных результатов. Опять-таки, это повсеместное явление, так как почти все препараты на том или ином этапе их существования будут сравнивать с плацебо, и «коммерческие представители» – люди, которых большие фармацевтические фирмы нанимают, чтобы облапошивать врачей (многие из врачей просто отказываются иметь с ними дело), – обожают недвусмысленную позитивность графиков, получающихся в результате таких исследований.

Чем дальше – тем интереснее. Если вам требуется сравнить свой препарат с препаратом, который производит конкурент, – чтобы сохранить лицо или потому, что этого требуют регламентирующие органы, – можно тайком испробовать подловатый прием: применять препарат конкурента в недостаточных дозах, чтобы у пациентов не наблюдалось улучшения, или же, наоборот, в чрезмерно высоких, чтобы вызвать у пациентов массу побочных эффектов, или исказить способ применения конкурирующего препарата (например, давать его орально, хотя его следует назначать внутривенно, и надеяться, что читатели ничего не заметят), или слишком быстро повышать дозу конкурирующего препарата, чтобы усугубить вызванные им побочные эффекты у пациентов. По сравнению с чужим ваш препарат будет выглядеть просто блестяще. Хотите сказать, такого не бывает? Но если вы внимательно изучите отчеты о тестировании некоторых препаратов, то найдете исследования, в которых пациентам давали действительно завышенные дозы устаревших нейролептиков (по сравнению с которыми препараты нового поколения выглядели так, словно у них почти нет побочных эффектов), а также исследования с дозами антидепрессантов с селективными ингибиторами обратного захвата серотонина (SSRI), которые кое-кто счел бы странными, и это лишь пара примеров из множества. Да, понимаю. Верится с трудом.

Разумеется, можно показать и другой фокус с побочными эффектами – просто не спрашивать о них, или, скорее, раз уж приходится таиться и скрываться, проявить осторожность в таких расспросах. Вот вам пример. Антидепрессанты с SSRI довольно часто вызывают побочные эффекты в половой сфере, в том числе аноргазмию. Поясним (и я попытаюсь высказаться в этом случае как можно более нейтрально): мне действительно нравятся ощущения при оргазме. Они важны для меня, весь мой опыт свидетельствует о том, что эти ощущения важны и для других людей. Войны велись, в сущности, ради ощущения оргазма. Эволюционные психологи убеждают, что вся человеческая культура и язык в значительной мере обусловлены стремлением к ощущению оргазма. Потеря этого ощущения представляется значительным побочным эффектом, о котором стоит знать.

Однако различные исследования показали, что о преобладании аноргазмии во время приема препаратов с SSRI сообщало от 2 до 73 % пациентов, в зависимости от того, как был задан вопрос: небрежно и неопределенно, о побочных эффектах в целом, или вдумчиво и подробно. В одном обзоре результатов исследования препаратов с SSRI, в котором участвовало 3000 человек, таблица со списком из 23 побочных эффектов попросту не содержала никаких упоминаний о побочных эффектах в половой сфере. По мнению исследователей, остальные 23 пункта гораздо важнее потери ощущений, вызванных оргазмом. Я внимательно прочитал их: нет, не важнее.

Но вернемся к нашим основным результатам. Вот еще хороший фокус: такие понятия реального мира, как, например, смерть или боль, всегда можно подменить «суррогатным». Если ваш препарат предназначен для снижения уровня холестерина и предотвращения смерти от сердечно-сосудистых нарушений, не определяйте смертность от этих нарушений – вместо этого измерьте снижение уровня холестерина. Добиться последнего гораздо проще, чем сделать так, чтобы пациенты реже умирали от сердечно-сосудистых нарушений, испытание обойдется дешевле и пройдет быстрее, а ваши данные будут получены более дешевым способом и произведут более позитивное впечатление. Результат налицо!

Итак, испытания вы провели, но несмотря на все усилия, исход оказался негативным. Что можно предпринять? Ну, если в целом испытание было добросовестным, но дало несколько отрицательных результатов, можно испробовать старый трюк: не привлекайте внимание к данным, вызывающим разочарование, то есть не наносите их на график. Коротко упомяните о них в отчете и полностью игнорируйте при составлении выводов. (Я так поднаторел в этом деле, аж самому страшно. Вот что значит начитаться дрянных отчетов об испытаниях.)

Если ваши результаты негативны полностью, вообще не публикуйте их, или опубликуйте, но спустя длительное время. Именно так и поступили фармацевтические компании с данными по антидепрессантам с SSRI: сначала скрыли данные, указывающие, что эти препараты могут быть опасными, потом умолчали о данных, свидетельствующих, что препараты действуют ничуть не лучше плацебо. Если вам хватает ума и денег, чтобы швырять их на ветер, тогда после получения досадных результатов можете провести еще несколько испытаний по тому же протоколу – в надежде, что они дадут положительные результаты. Потом попытайтесь обобщить все данные так, чтобы отрицательные затерялись среди посредственно-положительных.

А можно взяться за дело всерьез и начать манипулировать статистикой. Текст на следующих нескольких страницах – совсем замороченный. Я привожу классические фокусы специально для статистического анализа, которые наверняка сделают положительными результаты любых испытаний.

Всегда исходите из предположения, что любая корреляция доказывает причинно-следственную связь. Вбейте все свои данные в электронную таблицу и с важным видом сообщите о какой угодно связи между чем угодно, если это поможет достижению вашей цели. Если вы собрали достаточно данных, по чистейшей случайности среди них наверняка найдутся положительные.

Иногда в начале испытания в группе, получающей лечение, дела по случайному совпадению идут лучше, чем в группе, получающей плацебо. Так и оставьте. С другой стороны, если на старте ситуация в группе плацебо лучше, чем в группе, получающей лечение, тогда введите «поправку на первоначальные данные», когда займетесь анализом.

У людей, выбывших из испытаний, статистически выше вероятность наличия плохих результатов и побочных эффектов. Из-за них ваш препарат будет производить неприглядное впечатление. Поэтому не обращайте на них внимание, не пытайтесь их вернуть, не включайте их результаты в окончательный анализ.

Посмотрите на полученные графики. На них наверняка есть аномальные «выбросы» – точки, находящиеся далеко от остальных. Если они портят впечатление от препарата, просто сотрите их. А если благодаря им препарат смотрится лучше, даже если достоверность этих результатов сомнительна – оставьте.

Если разница между вашим препаратом и плацебо становится значительной по прошествии четырех с половиной месяцев из шести месяцев испытаний, сразу же остановите испытания и начните обрабатывать результаты: на всякий случай, вдруг в дальнейшем ситуация изменится к худшему. Если к концу шести месяцев результаты оказываются «почти значимыми», продлите испытание еще на три месяца.

Если результаты плачевны, поищите, нет ли в группе подгрупп, в которых ситуация выглядит иначе. Возможно, вы обнаружите, что ваш препарат прекрасно действует на китаянок в возрасте от 52 лет до 61 года. «Изощренная пытка – гарантия любого признания», как говорят в Гуантанамо.

Если отчаетесь, безуспешно пытаясь проанализировать данные так, как планировали, и не получив желаемого результата, тогда просто попробуйте наугад обработать их с помощью самых разных программ для анализа статистических данных, даже если они в вашем случае неуместны.