Понимание регрессии к среднему

   Понимание регрессии к среднему

   «Исследования дали интересный результат, и на их основании 9 февраля 1877 года я прочитал лекцию в Королевской ассоциации. Эксперименты показали, что потомство не походило на родителей размером, но всегда оказывалось более заурядным, то есть меньше крупных родителей или больше мелких… Эксперименты показали также, что в среднем регрессия потомства прямо пропорциональна отклонению родителей от среднего».

   Гальтон, очевидно, ожидал, что ученая аудитория в Королевской ассоциации, старейшей независимой исследовательской организации мира, так же удивится его «интересным ре зультатам», как и он сам. Но самое интересное состоит в том, что его удивила обычная статистическая закономерность. Регрессия распространена повсеместно, но мы ее не узнаём. Она прячется на виду. За несколько лет, с помощью выдающихся статистиков того времени, Гальтон проделал путь от открытия наследственной регрессии размеров до более широкого понимания того, что регрессия неизбежно возникает при неполной корреляции между двумя величинами.
   Среди препятствий, которые пришлось преодолеть исследователю, оказалась и проблема измерения регрессии между величинами, выражающимися в разных единицах: например, весом и умением играть на пианино. Их измеряют, беря в качестве эталона для сравнения все население. Представьте, что у 100 детей из всех классов начальной школы измерили вес и умение играть и расположили результаты по порядку, от максимальной до минимальной величины каждого показателя. Если Джейн на третьем месте по музыке и на двадцать седьмом по весу, можно сказат ь, что игра на пианино у нее лучше, чем рост. Давайте для простоты сделаем несколько допущений.
   В любом возрасте:
   • Успехи в игре на пианино зависят только от количества часов занятий в неделю.
   • Вес зависит исключительно от количества потребляемого мороженого.
   • Поедание мороженого и количество часов занятий музыкой в неделю – независимые величины.

   Теперь мы можем написать некоторые уравнения с использованием позиций в списке (или стандартных оценок, как их называют статистики):

   вес = возраст + потребление мороженого
   игра на пианино = возраст + количество часов занятий в неделю

   Очевидно, что при попытках предсказать уровень игры на пианино по весу или наоборот, будет появляться регрессия к среднему. Если о Томе известно лишь то, что он по весу двенадцатый (намного выше среднего), можно сделать статис тический вывод, что Том, вероятно, старше среднего и, возможно, потребляет больше мороженого, чем другие. Если о Барбаре известно лишь то, что она восемьдесят пятая по пианино (намного ниже среднего по группе), можно сделать вывод, что Барбара, скорее всего, еще маленькая и, наверное, занимается меньше других.

   • Корреляция между размерами объектов, точно измеренных в метрических или в имперских единицах, составляет 1. Все определяющие факторы влияют на оба измерения.

   Фрэнсису Гальтону потребовалось несколько лет, чтобы понять, что корреляция и регрессия – это не две разные концепции, а две точки зрения на одну. Общее правило довольно простое, но у него удивительные следствия: в случаях, когда корреляция неидеальна, наблюдается регрессия к среднему. Чтобы проиллюстрировать открытие Гальтона, возьмем предположение, которое многие находят довольно любопытным:

   Умные женщины часто выходят замуж за менее умных мужчин.

   Если на вечеринке попросить ваших приятелей найти объяснение этому факту, то интересный разговор вам обеспечен. Даже знакомые со статистикой люди проинтерпретируют это утверждение в каузальных терминах. Кто-то решит, что умные женщины стремятся избежать конкуренции умных мужчин; кто-то предположит, что они вынуждены идти на компромиссы при выборе супруга из-за того, что умные мужчины не хотят соревноваться с умными женщинами; другие предложат более надуманные объяснения. А теперь подумайте над следующим утверждением:

   Корреляция между оценками интеллекта супругов неидеальна.

   Разумеется, это утверждение верно – и совершенно неинтересно. В этом случае никто не ожидает идеальной корреляции. Объяснять здесь нечего. Тем не менее с алгебраической точки зрения эти два утверждения эквивалентны. Если корреляция между оценками интеллекта супр угов неидеальна (и если женщины и мужчины в среднем не различаются по интеллекту), то математически неизбежно, что умные женщины выйдут замуж за мужчин, которые в среднем будут менее умными (и наоборот). Наблюдаемая регрессия к среднему не может быть более интересна или более объяснима, чем неидеальная корреляция.

   Трехмесячное применение энергетических напитков для лечения депрессии у детей дает значительные улучшения состояния.

   Я выдумал этот заголовок, но описанный в нем факт – правда: если какое-то время поить энергетическими напитками детей, страдающих депрессией, наблюдается клинически значимое улучшение. Аналогичным образом дети с депрессией, которые будут ежедневно по пять минут стоять на голове или по двадцать минут гладить кошек, также покажут улучшение состояния. Большинство читателей таких заголовков автоматически заключат, что улучшение наступило из-за энергетического напитка или поглаживания кошки, но это – совершенно необоснованный вывод. Дети в депрессии – это экстремальная группа, а такие группы с течением времени регрессируют к среднему. Корреляция между уровнями депрессии во время последовательных проверо к неидеальна, так что регрессия к среднему неизбежна: детям с депрессией со временем станет чуть легче, даже если они не будут гладить кошек и пить «Ред Булл». Для вывода об эффективности энергетического напитка – или любого другого способа лечения – необходимо сравнить группу пациентов, получающих его, с контрольной группой, не получающей лечения совсем (или, еще лучше, получающей плацебо). Ожидается, что контрольная группа покажет улучшение только за счет регрессии, а цель эксперимента состоит в выяснении, улучшается ли состояние пациентов, получающих лечение, больше, чем объясняется регрессией.
   Неверное каузальное определение эффекта регрессии свойственно не только читателям популярной прессы. Статистик Говард Вейнер составил длинный список выдающихся исследователей, допустивших такую же ошибку, то есть спутавших корреляцию с каузальностью. Эффект регрессии – частый источник проблем в исследованиях, и у опытных ученых развивается здоровая боязнь ловушек, то ест ь необоснованных каузальных выводов.
   Один из моих любимых примеров ошибки в интуитивных предсказаниях взят из замечательной книги Макса Базермана «Оценочные суждения при принятии управленческих решений» и адаптирован:

   Вы прогнозируете продажи в сети магазинов. Все магазины сети сходны по размеру и ассортименту, но объем продаж у них разный из-за расположения, конкуренции и различных случайных факторов. Вам представили результаты за 2011 год и попросили определить продажи в 2012-м. У вас есть указания придерживаться общего прогноза экономистов о том, что рост продаж в целом составит 10 %. Как бы вы заполнили следующую таблицу?