В конце нашего сотрудничества мы с Гэри Кляйном все же пришли к согласию, отвечая на основной поставленный вопрос: в каких случаях стоит доверять интуиции эксперта? У нас сложилось мнение, что отличить значимые интуитивные заявления от пустопорожних все же возможно. Это можно сравнить с анализом подлинности предмета искусства (для точного результата лучше начинать его не с осмотра объекта, а с изучения прилагающихся документов). При относительной неизменности контекста и возможности выявить его закономер ности ассоциативный механизм распознает ситуацию и быстро вырабатывает точный прогноз (решение). Если эти условия удовлетворяются, интуиции эксперта можно доверять.
К сожалению, ассоциативная память также порождает субъективно веские, но ложные интуиции. Всякий, кто следил за развитием юного шахматного таланта, знает, что умения приобретаются не сразу и что некоторые ошибки на этом пути делаются при полной уверенности в своей правоте. Оценивая интуицию эксперта, всегда следует проверить, было ли у него достаточно шансов изучить сигналы среды – даже при неизменном контексте.
При менее устойчивом, малодостоверном контексте активируется эвристика суждения. Система 1 может давать скорые ответы на трудные вопросы, подменяя понятия и обеспечивая когерентность там, где ее не должно быть. В результате мы получаем ответ на вопрос, которого не задавали, зато быстрый и достаточно правдоподобный, а потому способный проскочить снисходительный и ленивый ко нтроль Системы 2. Допустим, вы хотите спрогнозировать коммерческий успех компании и считаете, что оцениваете именно это, тогда как на самом деле ваша оценка складывается под впечатлением от энергичности и компетентности руководства фирмы. Подмена происходит автоматически – вы даже не понимаете, откуда берутся суждения, которые принимает и подтверждает ваша Система 2. Если в уме рождается единственное суждение, его бывает невозможно субъективно отличить от значимого суждения, сделанного с профессиональной уверенностью. Вот почему субъективную убежденность нельзя считать показателем точности прогноза: с такой же убежденностью высказываются суждения-ответы на другие вопросы.
Должно быть, вы удивитесь: как же мы с Гэри Кляйном сразу не додумались оценивать экспертную интуицию в зависимости от постоянства среды и опыта обучения эксперта, не оглядываясь на его веру в свои слова? Почему сразу не нашли ответ? Это было бы дельное замечание, ведь решение с самого начала мая чило перед нами. Мы заранее знали, что значимые интуитивные предчувствия командиров пожарных бригад и медицинских сестер отличны от значимых предчувствий биржевых аналитиков и специалистов, чью работу изучал Мил.
Теперь уже трудно воссоздать то, чему мы посвятили годы труда и долгие часы дискуссий, бесконечные обмены черновиками и сотни электронных писем. Несколько раз каждый из нас был готов все бросить. Однако, как всегда случается с успешными проектами, стоило нам понять основной вывод, и он стал казаться очевидным изначально.
Как следует из названия нашей статьи, мы с Кляйном спорили реже, чем ожидали, и почти по всем важным пунктам приняли совместные решения. Тем не менее мы также выяснили, что наши ранние разногласия носили не только интеллектуальный характер. У нас были разные чувства, вкусы и взгляды применительно к одним и тем же вещам, и с годами они на удивление мало изменились. Это наглядно проявляется в том, что каждому из нас ка жется занятным и интересным. Кляйн до сих пор морщится при слове «искажение» и радуется, узнав, что некий алгоритм или формальная методика выдают бредовый результат. Я же склонен видеть в редких ошибках алгоритмов шанс их усовершенствовать. Опять-таки я радуюсь, когда так называемый эксперт изрекает прогнозы в контексте с нулевой достоверностью и получает заслуженную взбучку. Впрочем, для нас в конечном итоге стало важнее интеллектуальное согласие, а не эмоции, нас разделяющие.
Разговоры об интуиции экспертов
«Насколько она компетентна в этом вопросе? Насколько опытна в решении подобных частных задач?»
«Неужели он и впрямь считает, что недавно созданные компании – достаточно стабильный контекст для построения прогнозов вопреки априорной вероятности?»
«Она очень уверена в своем мнении, но субъективная уверенность – плохой показатель точности суждений».
«У него точно была возможность научиться этому? Достаточно ли быстрой и четкой была обратная связь, которую он получал от своих решений?»
23
Взгляд извне
Через несколько лет после начала нашего с Амосом сотрудничества я убедил чиновников из министерства образования Израиля, что высшей школе нужен курс по изучению принятия решений. Для разработки курса и написания учебника к нему я собрал команду опытных педагогов, куда включил моих студентов-психологов, а также Сеймура Фокса, декана факультета педагогики в Еврейском университете, профессионала по части составления спецкурсов.
За год мы, собираясь по пятницам, набросали подробный план лекций и несколько глав учебника, а также провели пробные занятия. Всем нам казалось, что прогресс налицо. Однажды, обсуждая с коллегами процедуры оценки неопределенных величин, я решил задать им упражнение – попросил всех приблизительно подсчитать, сколько времени нам понадобится для сдачи проекта учебника в министерство. Я следовал методике, которую мы собирались включить в программу курса. Методика заключалась в том, чтобы получить информацию отдельно от каждого члена группы, не затевая коллективных обсуждений, – так доступные группе знания используются более полно. Итак, я собрал результаты и вывесил данные на доску. В среднем срок сдачи книги оценили в два года (при крайних значениях в полтора и два с половиной).
Затем мне пришла в голову другая идея. Я обратился к Сеймуру, нашему специалисту по спецкурсам, и спросил, не помнит ли он других похожих случаев, когда бы команда преподавателей составляла учебный курс с нуля. В то время вводились некоторые педагогические инновации вроде «новой математики», и Сеймур сказал, что ему известно несколько примеров. Я спросил, слышал ли он, что случилось с другими командами – продвинулись ли они вперед, как мы, и сколько времени потребовалось им для заве ршения проектов?
Тут Сеймур задумался, а потом смущенно ответил (мне показалось, он даже залился румянцем от собственных слов): «Знаешь, я только сейчас вспомнил, что на самом деле не все команды после этой стадии довели дело до конца».
Это внушало тревогу. У нас и в мыслях не было, что мы можем потерпеть неудачу. Не на шутку обеспокоившись, я спросил, какая доля команд, по его подсчетам, оставила работу недоделанной. «Процентов сорок», – ответил Сеймур. Тут собравшиеся окончательно приуныли. Мой следующий вопрос был очевиден: «А те, что закончили свои проекты, сколько времени потратили на доработку?» – «Помнится, как минимум семь лет. Но точно не больше десяти», – сказал Сеймур.
Я ухватился за соломинку: «А если сравнить нашу группу по уровню подготовки и ресурсам, насколько мы лучше или хуже других? Как бы ты нас оценил?» Здесь Сеймур ответил без запинки: «Наш уровень – ниже среднего. Но ненамного». Такая оценка удивил а всех, даже самого Сеймура, который прежде разделял оптимизм команды. Пока я не подтолкнул коллегу, он не связывал в уме прошлое других групп и наше будущее.
Неверно утверждать, что Сеймур не открыл ничего нового для нас. Естественно, мы все понимали, что минимум семь лет труда и 40 %-ная вероятность неудачи – более достоверный прогноз судьбы проекта, чем те цифры, которые мы нацарапали пятью минутами раньше, но никто не сумел это признать. Новый прогноз по-прежнему казался невообразимым – мы не могли представить, что такая, казалось бы, решаемая задача отнимет столько времени. Ни один хрустальный шар не показал бы все мелкие неожиданности, поджидавшие нас в будущем. Мы видели только относительно разумный план создания книги за два года, который противоречил статистике, утверждавшей, что другие команды потратили на эту работу нелепый объем времени или вовсе от нее отказались. Мы услышали информацию об априорной вероятности и, исходя из нее, должны были составить каузальный сценарий: если множество команд потерпели неудачу или затратили годы на достижение успеха, значит, разрабатывать учебный курс куда сложнее, чем мы думали. Однако такой вывод конфликтовал с нашим первоначальным ощущением хорошего старта. Мы обошлись с Сеймуровой статистикой как всякий, кто оказывался в подобной ситуации: априорную вероятность приняли к сведению и забыли о ней.
Нам бы все бросить в тот же день – никому не хотелось вкладывать шесть лет труда в проект, который с 40 %-ной вероятностью мог провалиться, – но повод не показался достаточно веским, и после пяти минут беспорядочного обсуждения мы продолжили нашу работу, словно ничего не произошло. В итоге на завершение учебника ушло еще восемь (!) лет. К тому времени я уже покинул Израиль и вышел из состава команды, которая закончила-таки проект после многих сложностей и злоключений. К тому времени энтузиазм министерства образования иссяк, и курсом так никто и не воспользовался.
Этот неприятный эпизод стал едва не самым поучительным в моей профессиональной карьере. Со временем я извлек из него три урока. Первый открылся мне сразу: я нащупал различие между двумя радикальными подходами к прогнозированию, которые мы с Амосом впоследствии обозначили как «взгляд изнутри» и «сторонний взгляд». Второй урок заключался в том, что наши первоначальные представления – два года работы для завершения проекта – содержали ошибку планирования. Наши оценки учитывали идеальную, а не реальную ситуацию. И лишь спустя долгое время я усвоил третий урок – урок «иррационального упорства». Именно этим я объясняю наше нежелание бросить заведомо убыточный проект. Столкнувшись с выбором, мы поступились разумностью, но не инициативой.
Достарыңызбен бөлісу: |
