Разоблачение псевдонаучных истин (краткий курс для начинающих)

1. Применялись ли для пущей убедительности критерии относительного изменения (например, процентные соотношения)?

Наиболее наглядно этот принцип проиллюстрирован двумя гипотетическими заголовками в газетах:

Стоит ли вам избегать насыщенных жиров?

Выясним, что именно означает термин «дольше». Согласно доступным данным, снижение потребления насыщенных жиров до 10 % от количества калорий, потребляемых в сутки, увеличит продолжительность всей взрослой жизни на 3–30 суток. Задумайтесь: стоит ли игра свеч, особенно если одна из радостей вашей жизни – стейк рибай? Скорее всего, нет.

Люди, пьющие кофе, теряют на 20 % больше жира, чем те, кто его не пьет

Стоит ли приучать себя пить кофе?

Оставим пока вопрос о том, было ли это исследование наблюдательным и неэкспериментальным (об этом далее): рассмотрим впечатляющие 20 %.

Относительное увеличение или снижение, чаще всего выраженное в процентах, может ввести в заблуждение.

Относительного недостаточно. Важно задаться вопросом, каким был абсолютный прирост или снижение – в данном случае, сколько килограммов жира на самом деле потеряли обе группы и за какое время? В большинстве случаев процентные соотношения, используемые в СМИ и торговых брошюрах, призваны маскировать тот факт, что изменения были мизерными.

Если люди из контрольной группы сбросили 0,11 кг жира, а из группы потребителей кофе – 0,14 кг (примерно на 20 % больше) за восемь недель, выпивая по три чашки кофе в день, стоит ли рисковать побочными эффектами потребления высоких доз кофеина? Ни в коем случае.

Не доверяйте процентам, вырванным из контекста.

2. Утверждается ли, что причинно-следственную связь показало неэкспериментальное исследование?

Это настоящая золотая жила. Если хотите запомнить только один принцип из главы, выберите этот. Он указывает не просто на ошибку, а на смертный грех.

Неэкспериментальные (наблюдательные) исследования¹⁸⁷, также называемые неконтролируемыми экспериментами, представляют собой изучение разных групп или слоев населения вне лаборатории и сравнение распространенности конкретных явлений, обычно болезней. Наглядный пример – «китайское исследование»¹⁸⁸, результаты которого зачастую толкуют ошибочно.

Вот самый важный абзац в этой главе:

В отличие от наблюдательных, рандомизированные и контролируемые исследования предполагают отслеживание переменных и, следовательно, могут выявлять причину и следствие (обусловленность): А вызывает появление Б.

В пародийной религии под названием «пастафарианство» умышленно смешиваются корреляция и обусловленность:
Наряду с сокращением численности пиратов наблюдался рост глобального потепления за тот же период.

Следовательно, глобальное потепление вызвано дефицитом пиратов.

Не попадайтесь на удочку научного пастафарианства.

Очень важно не слушать советы, основанные исключительно на данных наблюдательных исследований. В 2004 году комментарий, опубликованный журналом International Journal of Epidemiology под заголовком «Парадокс гормонозаместительной терапии и коронарной сердечной недостаточности – конец наблюдательной эпидемиологии?» объяснил, почему к ним опасно прислушиваться. Наблюдения за одной группой женщин, получающих гормонозаместительную терапию (ГЗТ), показали снижение уровня сердечной недостаточности, и СМИ вместе со сторонниками ГЗТ поспешили раструбить об этом эффектном выводе: ГЗТ снижает вероятность сердечной недостаточности! Увы, рандомизированные и контролируемые испытания позднее показали отсутствие защитного эффекта и даже небольшое увеличение риска сердечной недостаточности у тех, кто получал ГЗТ.

Как такое возможно?

Выяснилось, что в наблюдательных исследованиях не учли разницу в социально-экономическом положении людей в группах, а также роль врачей, выбирающих для ГЗТ женщин, с самого начала в наименьшей степени предрасположенных к сердечной недостаточности. Последнее – пример тому, что отсутствие рандомизированного распределения участников по группам приводит к влиянию предвзятости экспериментаторов на результаты наблюдательного исследования.

В комментарии 2004 года постфактум справедливо отмечалось:

3. Как были сделаны выводы в исследовании – на основании отчетов самих участников или на основании результатов опросов и наблюдений?

В 1980 году ученые на оторванной от мира исследовательской станции в Антарктиде вели записи обо всей пище, которую потребляли, и взвешивали ее. Раз в неделю участникам задавали вопрос о том, что они ели накануне (напомним: еду взвешивали, ее вес и состав записывали). Несмотря на внимательное ведение дневников питания, участники все-таки недооценивали свое потребление пищи на 20–30 %.

Да, их вполне могли ослепить снежные бури. Обстоятельства, в которых проводилось это исследование, нормальными не назовешь. А теперь посмотрим, как поступают в этом случае настоящие профессионалы.

WHI («Инициатива женского здоровья») – грандиозный проект стоимостью 415 миллионов долларов, осуществленный под эгидой Национального института здравоохранения. В нем участвовало почти 49 тысяч женщин. Проект был разработан с целью изучения ряда проблем со здоровьем, в том числе влияния рациона со сниженным содержанием жира на вероятность рака за восьмилетний период. Это широкомасштабное интервенционное исследование СМИ часто называли «золотым стандартом» в изучении питания. Доктор Майкл Тун из Американской онкологической ассоциации даже объявил WHI «роллс-ройсом среди исследований».

В 2006 году New York Times объявила о результатах под недвусмысленным заголовком:

Исследования показывают: рацион с низким содержанием жира не снижает риск для здоровья

Хотя я согласен с этим выводом, сделанным на основании других данных, исследование WHI просто не могло прийти к подобному заключению. Обратимся за помощью к Майклу Поллану, чтобы увидеть одно из самых распространенных слабых мест национальных исследований: самоотчеты.

В опросник WHI также входили вопросы:

Какое мясо вы обычно выбираете – белое, темное или и то, и другое?

Сколько раз за последние три месяца вы съели порцию брокколи размером с полстакана?¹⁹⁰
Как бы справились с этой задачей вы? Думаете, смогли бы с 20-процентной вероятностью найти в памяти верные ответы?

Проверим на примере последних 24 часов.

Пожалуйста, оцените количество калорий в пище и напитках, которые вы употребили вчера, при этом не обращайтесь ни к каким справочникам, а также укажите количество потребленных калорий, полученных из жира. Затем съешьте точно такую же еду (вместе с перекусами), но взвешивайте всю ее в граммах на портативных кухонных весах. Количество напитков оценивайте с помощью мерной кружки. На сайте www.nutritiondata.com найдите информацию о количестве калорий в 100 г каждого продукта и произведите подсчеты¹⁹¹.

Если вы не профессиональный спортсмен и не умеете на глаз отличать 150-граммовую порцию стейка от 200-граммовой, разница между самоотчетом и результатами взвешивания вызовет у вас шок. Перемножьте эти отклонения на 49 тысяч человек, и вы наверняка сможете представить себе получившуюся картину в стиле Пикассо.

Да, сведения, сообщенные самими участниками эксперимента, могут быть полезными, особенно если записываются в реальном времени (то есть в процессе событий). Эту задачу облегчают достижения техники, исключающие из уравнения фактор памяти: например, приложение для iPhone, которое называется DailyBurn’s FoodScanner и wifi-весы Withing¹⁹². Всеми силами избегайте исследований, опирающихся на сведения самоотчетов, сделанных постфактум . Доверяйте собственным данным. А для этого фиксируйте их в процессе.

4. Заявлено ли участие контрольной группы в исследовании программы питания или диеты?

Как бы настоятельно это ни требовалось, в исследовании питания почти невозможно изменить только одну макроэлементную переменную (белки, углеводы, жиры). А значит, почти невозможно создать и контрольную группу.

Допустим, некто утверждает, что исследование влияния рациона с низким содержанием жиров подтвердило: он полезнее для здоровья, чем рацион с высоким содержанием жиров. Вот контрольная группа.

Начнем по порядку: чтобы снизить содержание жира и холестерина в рационе, в который входят цельные продукты, понадобится исключить из него жиры и белки, а это означает, что придется съедать гораздо больше углеводов, чтобы восполнить недостаток калорий. В противном случае еще одной переменной станет изменившееся количество калорий. Но если скорректировать калорийность, добавив углеводов, возникнет парадокс: оказывается, мы сравниваем не только рационы с высоким и с низким содержанием жиров, но и рационы с высоким и низким содержанием белков, а также высоким и низким содержанием углеводов.

Как узнать, что из них за что отвечает?

Никак.

Эксперименты над собой в этом случае дают неожиданное преимущество.

В идеальном (но малоприятном) тесте следует вернуться к диете А и посмотреть, начнет ли меняться доля телесного жира в обратную сторону. И еще раз переключиться с диеты на диету. Так будет сведена к минимуму вероятность чистого совпадения первого перехода на диету Б с избавлением от телесного жира. Увы, такое переключение также максимально увеличит вероятность вашего помешательства. То, что действует, лучше не трогать.

5. Заинтересованы ли спонсоры исследования в определенных результатах?

Остерегайтесь нечестивых союзов между источниками финансирования и учеными.

Фред Стэр, основатель и глава кафедры питания Гарвардского университета, в 1960 году получил от компании General Foods грант в размере 1 026 000 долларов. Эти производители хлопьев с сахаром Post, напитка Kool-Aid, а также напитка к завтраку Tang были готовы финансировать «развитие лаборатории исследований в области питания». В последующее десятилетие Стэр стал наиболее известным и авторитетным защитником сахара и современных пищевых добавок, все это время получая финансовую помощь от различных компаний, в том числе Coca-Cola и Национальной ассоциации безалкогольных напитков. Означает ли это наличие состава преступления? Нет. Доказывает ли, что финансирование исследований, поддержка, которую можно прекратить, часто исходит от тех, кто с наибольшей вероятностью выиграет от этих исследований? Да. Люди реагируют на стимулы.

Просто проведите проверку: изучите обязательный раздел «конфликт интересов» в исследованиях или обзорах, связанных с питанием, и обратите внимание на «гонорары за консультации». Если McCorporation или XYZ Lobby считает прямое финансирование исследований слишком очевидным путем, то обращение к исследователям как к консультантам может быть косвенным способом достичь тех же целей. Например, Джеймс Хилл из университета Колорадо хорошо известен попытками дискредитировать связь между ожирением и повышенным уровнем инсулина, вызванным потреблением сахара. В его заявленных конфликтах интересов можно увидеть, что он получал гонорары за консультации от компаний Coca-Cola, Kraft Foods, Mars Corporation (производитель «сникерсов», M&Ms и «марсов»).

Означает ли одно это, что он виновен в искажении данных ради корпоративных интересов? Нет. Но следует повнимательнее присмотреться к его исследованиям, прежде чем верить заголовкам в прессе и менять свою жизнь.

Цель этой главы и цель этой книги

Осознание того, как действовать в условиях неполноты информации, – главная и самая насущная задача человека.

Нассим Талеб, «Черный лебедь»
Надежны ли эксперименты, описанные в этой книге, настолько, что к ним невозможно придраться? Едва ли. У каждого исследования есть свои недостатки, зачастую связанные с соображениями этики или законности.

Я служу самому себе единственным участником экспериментов и (с редкими исключениями) не рандомизирую¹⁹³ и не пользуюсь контрольными группами. Несомненно, узнав об этом, некоторые ученые не упустят случая порезвиться и раскритиковать эксперименты над собой как таковые.

Это не беспокоит меня и не должно беспокоить вас.

Цель этой главы проста: поскольку публикации, посвященные научным исследованиям, нередко становятся отправной точкой для наших экспериментов над собой, мы хотим убедиться в том, что не двинемся по ложному следу, указанному аферистами или дезинформированными, пусть и благонамеренными журналистами. Понимание вопросов «большой пятерки» и признаков погони за сенсацией поможет вам перейти в немногочисленную группу тех, кто в вопросах питания полагается на себя, а не на СМИ.

Так приоткрывается дверь, которую затем мы можем распахнуть и придержать открытой ради достижения невероятных результатов.

Моя первая и главная цель в рамках этой книги – вовсе не выявление единственных переменных, дающих желаемые изменения. Такая цель клинических исследований часто ставится с целью публикаций, но эксперименты ради самосовершенствования – совсем другое дело.

Возможно, альфа-липоевая кислота никак не влияет на действие данного коктейля для сбрасывания жира, возможно, рост мышц провоцирует угол наклона при выполнении упражнений, а не нагрузка, возможно, шпинат не дает ни одного из эффектов, которые я предсказываю, – в отличие от других продуктов в указанном меню. Точный механизм не так уж важен, если мы добились желаемого эффекта… не допустив побочных.

Известно высказывание доктора Мартина Лютера Кинга-младшего, согласно которому «сильное запоздавшее правосудие – не правосудие». В мире экспериментов над собой, где результаты имеют значение лично для экспериментатора, слишком затянувшееся получение этих результатов равнозначно их отсутствию. Это не значит, что надо действовать наобум. Вполне можно добиться успеха, не навредив себе. Но чаще всего стремление дождаться наиболее подходящих условий означает, что ждать придется вечно.

В мире, в котором я живу, люди хотят избавиться от лишнего жира или усовершенствовать сексуальную жизнь сейчас же, а не через пять или десять лет.

Пусть научные журналы догоняют вас – а вам незачем ждать.

ЛН (любителям науки)

Р-величина: единственное число, смысл которого надо понять

Когда-нибудь статистический анализ станет таким же необходимым для эффективного исполнения обязанностей гражданина навыком, как умение читать и писать.

Герберт Уэллс, вызвавший панику по всей стране радиопостановкой по его же научно-фантастическому роману «Война миров»

Британский врач и охотник за шарлатанами Бен Голдэйкр, автор следующий главы, приобрел известность, объясняя, как с помощью случайности можно дурачить людей. Он пользуется следующим примером.

Если вы пришли на вечеринку, какова вероятность, что в группе из 23 человек двое родились в один и тот же день? Одна сотая? Одна пятидесятая? На самом деле одна вторая. Пятьдесят процентов.

Чтобы представлять себе, что такое случайность, и замечать ее, важно понимать, что такое «p-величина» (читается как «пи-величина»; она иногда называется «наблюденной значимостью»), которую можно встретить в материалах всех полноценных исследований. Она отвечает на вопрос «насколько мы уверены в том, что данный результат получен не благодаря случайности?»

Для демонстрации причинно-следственной связи (или намека на нее) «золотым стандартом» для исследований является р-величина менее 0,05 (р<0,05), которая означает менее чем 5-процентную вероятность того, что данный результат можно приписать вмешательству случая. Кроме того, р-величина меньше 0,05 – вот что имеет в виду большинство ученых, называя какой-либо результат «статистически значимым».

Это легко понять на примере.

Допустим, вы профессионально подбрасываете монетку, а представления об этике вам чужды. Надеясь победить в азартной игре с подбрасыванием монетки, вы сконструировали четвертак, который падает орлом вверх чаще простых монет. Для проверки вы подкинули свой четвертак и обычную монету 100 раз и сочли результаты однозначными: «простой» четвертак упал орлом вверх 50 раз, а ваш, «дизайнерский», – аж 60 раз!

Может, взять кредит под залог квартиры, да и махнуть в Вегас?

Приведенный в таблице для примера оценочный инструмент, разработанный компанией WebShare, занимающейся веб-дизайном и аналитикой, говорит: не стоит, если не хотите лишиться квартиры.

Если мы посмотрим на 20-процентное улучшение (60 бросков по сравнению с 50 бросками = еще 10 бросков) вверху и пройдемся вниз, чтобы узнать, сколько раз понадобится подбросить монетку, чтобы быть на 95 % уверенным в результатах (р=0,05), выяснится, что для этого нужно сделать 453 броска.

Другими словами, необходимо точно знать, что 20-процентное отличие в пользу желаемого результата достигается по меньшей мере 453 бросками каждой монетки, а разница в 10 бросков из ста вообще не доказывает существования причинно-следственной связи. Следует запомнить три момента, касающихся р-величины и «статистической значимости»:

• Если что-то выглядит как чудо, это еще не значит, что перед нами чудо. Случайности постоянно дурачат людей.

• Чем больше разница между группами, тем меньше могут быть группы. Критики испытаний с малым количеством участников или экспериментов над собой часто забывают об этом. Если произойдет событие, которое вызовет 300 % изменений, незачем задействовать большую группу, чтобы доказать его значимость.

• Неэтично сравнивать р-величины множественных экспериментов ради большего правдоподобия каких-либо результатов. Это еще одна уловка псевдонауки и ошибка плохо информированных журналистов.

Полезные ресурсы

Нассим Талеб, «Черный лебедь» (www.fourhourbody.com/blackswan). Талеб, автор бестселлера «Одураченные случайностью», лучше всех объясняет, как мы дурачим себя и каким образом можем снизить ущерб. Наше инстинктивное стремление недооценивать частотность одних событий и переоценивать другие – главная причина неизмеримых страданий.
«Корпорация» (The Corporation, DVD, www.fourhourbody.com/corporation). Это тревожный документальный фильм об американской корпорации и ее неустанной погоне за прибылью в ущерб нашей культуре. Фильм показывает, как сильно компании могут исказить отчеты, касающиеся здоровья, если они кровно заинтересованы в результатах.
«Список когнитивных искажений» (www.fourhourbody.com/biases). Все мы склонны к когнитивным искажениям, в том числе и ученые, двигающие псевдонауку. Просмотрите список по этому адресу и задайте себе вопрос, насколько бездумно вы принимаете на веру то, что слышите или читаете.

жүктеу/скачать 11.7 Mb.

Достарыңызбен бөлісу: