Education рекламные объявления на целую страницу, расписывающие важные проблемы, над
которыми работают преподаватели. Поскольку эту газету читают главным образом ученые
— и особенно администраторы учебных заведений, огромные расходы, на которые шел этот
не слишком-то богатый университет, выглядели странно. Однако потом до меня дошло:
рейтинги USNWR основываются в значительной мере на опросах ректоров колледжей,
которым предлагают оценить престиж других университетов. Смысл такого критерия
сомнителен, так как большинство ректоров попросту не знают о том, что происходит в
других институтах. Рекламная кампания была нацелена на повышение осведомленности об
университете и, как следствие, репутационного фактора в рейтинге USNWR.
Университеты также немало тратят на глянцевые брошюры, в которых расхваливают
достижения своих профессоров и преподавателей. Они рассылаются администраторам
других университетов, которые участвуют в опросах USNWR. Хотя университеты (и
существующие в них школы вроде школ права) тратят миллионы на подобные
маркетинговые публикации, доказательств, что они работают, нет. Большинство таких
брошюр отправляют, не открывая, в мусорные корзины30.
В дополнение к расходам, которые не имеют никакого отношения к повышению
качества преподавания или исследовательской работы, рост важности рейтингов привел к
появлению новых вариантов снятия сливок и приукрашивания цифр путем исключения или
искажения данных. Примеры этого приведены в опубликованном исследовании,
43
посвященном американским школам права. USNWRранжирует школы права на основе
отметок на вступительных экзаменах и среднего балла успеваемости студентов,
поступивших на очные отделения. Чтобы улучшить статистику, студентов с низкими
отметками оформляют как «заочников» или «стажеров», что позволяет не учитывать их.
Поскольку оценки студентов, перешедших из других учебных заведений, не учитываются,
руководство многих школ права предлагает студентам из школ права с более низким
рейтингом переводиться после первого года обучения. Низкое соотношение студентов и
преподавателей тоже вносит свой вклад в оценку школы. Но, поскольку его оценивают в
первом семестре, школы права настаивают, чтобы преподаватели брали отпуск только во
втором семестре31.
Эти приемы манипулирования рейтинговой системой не ограничиваются школами
права: многие колледжи и университеты ничем не отличаются от них32.
Есть ли в этом смысл? Одно из последних исследований показывает, что
незначительные различия в рейтингах колледжей намного меньше влияют на число
поступающих, чем полагает администрация колледжей, и что расходы на повышение
рейтинга несоразмерны его реальному влиянию33. Если это так, то администрациям многих
университетов следует задуматься над этим.
Оценка научной продуктивности
Пытаясь подменить субъективную оценку качества стандартизированными показателями,
некоторые рейтинговые организации, государственные учреждения и администрации
университетов приняли в качестве стандарта количество научных публикаций в колледже
или университете и стали его определять по коммерческим базам данных, собирающим
подобную информацию34. Приведу пример того, как стандартизация информации может
привести к снижению ее качества.
Первая проблема заключается в том, что эти базы данных часто ненадежны: созданные
для оценки результативности естественных наук, они нередко дают искаженную
информацию по гуманитарным и общественным наукам. В естественных науках и некоторых
поведенческих дисциплинах результаты исследований распространяются преимущественно
в форме статей в журналах, рецензируемых специалистами. Однако в науках вроде истории
ситуация иная: там главной формой обнародования результатов остаются книги и оценка
количества опубликованных статей дает искаженную картину. И это лишь начало проблемы.
Оценка работы членов профессорско-преподавательского коллектива или целых
факультетов по количеству публикаций (не важно, статьи это или книги)
стимулирует повышение количества публикаций, а не их качества. Исследования и работа
над реально важными книгами могут занять годы. Но, если система вознаграждает за
быстроту и объем, результатом будет, скорее всего, сокращение количества действительно
значимых работ. Именно это, похоже, и происходит в Великобритании в результате
осуществления Программы оценки качества исследовательской работы в учебных
заведениях: огромный поток неинтересных публикаций, которые не читают35. Проблема не
ограничивается гуманитарными науками. Во всех науках оценка исключительно по
количественным показателям приводит к всплеску быстрых публикаций, а не к развитию
перспективных, но долгосрочных исследований36.
В научных кругах, как и повсюду, начинают манипулировать тем, что поддается
количественной оценке. Возьмем, например, практику «оценки импакт-фактора». Поскольку
ясно, что не все опубликованные статьи имеют равное значение, пришлось разработать
методы измерения их важности. Они имеют две формы — подсчет числа упоминаний статьи
либо с помощью сервиса Google Scholar, либо по коммерческим базам данных и учет
«импакт-фактора» журнала, в котором опубликована статья. Последний определяется
частотой упоминания статей журнала в базах данных. (Разумеется, этот метод не позволяет
провести различие между такими упоминаниями, как «Поучительная и масштабная книга
Джерри Мюллера о зацикленности на количественных показателях фактически убивает
44
священных коров, которым поклоняются во многих организациях» и «Слабая и занудная
книжонка Джерри Мюллера не заслуживает внимания руководителей и социологов». С
точки зрения формального цитирования эти два упоминания совершенно равнозначны.)
Журналы группируются по дисциплинам, и в большинстве случаев учитываются только
упоминания в профильной группе. Это тоже проблема, поскольку ведет к искажению данных
по междисциплинарным работам (вроде этой книги).
Более того, лишний раз подтверждая закон Кэмпбелла (о котором говорилось в главе 1),
ряд ученых в попытке повысить цитируемость своих работ формируют неформальные
сообщества, члены которых стараются упоминать работы друг друга как можно чаще.
Некоторые журналы с низким рейтингом фактически требуют от авторов принятых работ
дополнять их ссылками на опубликованные ранее статьи в расчете на повышение своего
«импакт-фактора»37.
Вы можете спросить: «Есть ли альтернатива подсчетам количества публикаций,
количества ссылок на них и влиятельности журналов, где публикуются статьи?» Такой
альтернативой является профессиональное суждение. На кафедре оценивать продуктивность
преподавателей может профессор или небольшой комитет, члены которого, при
необходимости советуясь с другими преподавателями, судят на основании знаний и опыта о
значимости книги или статьи. В случае принятия важных решений, касающихся
продолжения пребывания в должности или повышения, прибегают к более сложной форме
конфиденциальной оценки со стороны коллег. Показатели, собранные в базах данных по
цитированию, могут быть в какой-то степени полезны в этом процессе, но цифры тоже
нуждаются в анализе на основе опыта для определения их ценности. Суждения, основанные
на профессиональном опыте, — вот что устраняет чрезмерную зависимость от
стандартизированных индикаторов результативности38. Как говорит один из специалистов в
области применения научных рейтингов, «рейтинговые системы слишком часто используют
как дешевый и не очень эффективный метод оценки продуктивности ученых. Эта практика
не только ведет к неточным оценкам, но и заставляет ученых гнаться прежде всего за
рейтингами, а не за научными достижениями. Есть более надежный способ оценки важности
статей или результатов исследований ученого: прочитать эти статьи и изучить результаты
исследования»39.
Ценность и ограничения рейтингов
У публичных рейтингов, подобных предлагаемым USNWR, есть реальные достоинства. Они
дают непосвященным как минимум предварительное представление об относительном
репутационном образе различных учреждений. Кроме того, побуждают колледжи и
университеты раскрывать информацию, которая может оказаться полезной потенциальным
студентам, например данные об уровне отсева и доле выпускников. А вот чего эти рейтинги
обычно не дают, так это информации о том, почему уровень отсева и доля выпускников
слишком высоки или низки. У колледжа, который принимает хорошо подготовленных
абитуриентов, уровень отсева будет низким, а доля выпускников — высокой. Но
«прозрачные» показатели могут сыграть злую шутку с учебными заведениями, которые
берутся обучать не очень хорошо подготовленных учащихся, хотя и выполняют свою задачу
довольно успешно. Их студентам часто требуется дополнительное обучение, они реже
успешно доходят до выпуска и не так удачливы на рынке труда. Как и больницам в бедных
районах, которые наказывают за сравнительно высокий уровень повторной госпитализации
(мы рассмотрим этот пример в главе 9), колледжам, открытым для малообеспеченных, грозят
взыскания за то, что они честно выполняют свою миссию. Рейтинги подталкивают
университеты к превращению в нечто соответствующее этим рейтингам. Внимание
уделяется тому, что измеряется. Это приводит к гомогенизации учебной среды по мере
отказа университетов от своих уникальных миссий и превращения в однородную массу40.
45
Оценка качества колледжей: система показателей
Одним из твердых приверженцев количественных показателей в Соединенных Штатах при
всех президентах (республиканцах и демократах) является Министерство образования. Во
время второго президентского срока Обамы Министерство образования взялось за
разработку «Системы рейтингов высших учебных заведений». Она должна была
ранжировать все колледжи и университеты, рассортировать данные по «полу, расовой и
этнической принадлежности и другим признакам» и в конечном итоге привязать
федеральное финансирование к рейтингам, которые, как предполагалось, будут отражать
доступность обучения и его результаты, включая ожидаемый уровень зарплат выпускников.
«Общественность должна знать, как живут и учатся студенты колледжей, получающих
финансирование из федерального бюджета, и эти данные нужно учитывать при оценке
наших инвестиций и приоритетов, — сказал заместитель министра образования Тед
Митчелл. — Нам также надо создавать для школ стимулы для ускорения реализации самых
важных целей вроде предоставления образования малообеспеченным студентам и
сокращения затрат»41. Планы администрации создать всеобъемлющую систему рейтингов
столкнулись с противодействием колледжей и конгресса. В конце концов Министерство
образования остановилось на усеченной версии — «Карте показателей колледжей», которую
обнародовали в сентябре 2015 г.
Этот документ создавался с самыми благими намерениями и предназначался для
решения реальных проблем высшего образования. Одной из них были крайне
фрагментированные данные по коммерческим учебным заведениям, предлагавшим
профессиональную подготовку по таким направлениям, как кулинарное искусство, ремонт
автомобилей и предоставление медицинских услуг. Эта сфера развивалась скачкообразно, а
некоторые компании (например, Corinthian и ITT, которые в конечном итоге правительство
закрыло) были настоящими хищниками, существовавшими за счет привлечения наименее
информированных потенциальных студентов и обещаний дать диплом, который откроет
двери работодателей. На самом деле качество их образования часто оказывалось низким, а
выпускники не пользовались успехом на рынке труда. Более того, порядка 90% стоимости
обучения, поступавшей в карман коммерческих компаний из Министерства образования,
приходилось на кредиты, расплачиваться по которым должны были студенты-заемщики. Но
в ответ на реальную проблему, существовавшую в нижнем сегменте коммерческого сектора,
министерство выдвинуло требования, затрагивавшие все колледжи и университеты.
Сторонники расширения набора показателей учета упустили из виду то, что проблема
повышения стоимости образования в колледжах и университетах в определенной мере
связана с разбуханием административного аппарата, в том числе и из-за выполнения
правительственных предписаний. Новый план должен был предсказуемо привести к росту
стоимости администрирования как из-за отвлечения профессоров и преподавателей от
преподавания и исследований на заполнение статистических форм, так и из-за увеличения
численности администраторов, которые собирают формы и анализируют данные,
необходимые для определения установленных показателей.
Некоторые цели первоначального плана (создания Системы рейтингов высших учебных
заведений) были взаимоисключающими, а некоторые просто абсурдными. Так, задача
повышения процентной доли выпускников колледжей противоречила задаче расширения
приема, поскольку более слабые ученики не только менее обеспечены в финансовом плане,
но и хуже подготовлены. Чем лучше подготовлены школьники, тем выше вероятность того,
что они успешно и вовремя окончат обучение. Таким образом, муниципальные колледжи и
другие учебные заведения, которые расширяют прием менее подготовленных учащихся,
страдают от низкой процентной доли выпускников. У них есть два пути улучшения цифр.
Во-первых, они могут поднять требования к поступающим и повысить вероятность их
успешного выпуска ценой ограничения доступа. Во-вторых, они могут снизить требования к
выпускникам, то есть пожертвовать качеством образования и рыночной стоимостью
46
диплома. Увеличить прием малообеспеченных, менее развитых и плохо подготовленных
абитуриентов и при этом повысить процентную долю выпускников можно, но только в
результате огромных затрат, что идет вразрез с другой целью Министерства образования —
снижением стоимости образования.
Еще одним показателем, который колледжи и университеты должны были представлять,
является средний заработок выпускников. Это имеет смысл для коммерческих учебных
заведений из сферы профессионального образования, которые, как мы уже видели, особенно
часто дают чрезмерные обещания и выпускают специалистов с дипломами сомнительного
качества. Но большинству колледжей и университетов сбор такой информации обходится
дорого, а полученные данные оказываются ненадежными и искажающими картину. После
выпуска многие лучшие студенты идут учиться дальше и довольствуются низкими
заработками в течение периода обучения. Таким образом, выпускник, который сразу после
колледжа становится зазывалой в одном из гипермаркетов сети Walmart, может похвалиться
более высоким заработком, чем его однокурсник, поступивший в медицинскую школу. Но
«отчетность» требует предъявления цифр.
Есть и более широкая проблема роста стоимости образования в колледже темпами,
намного превышающими инфляцию. Проблема доступности высшего образования
обостряется тем, что многие штаты сокращают финансовую поддержку колледжей.
Пожалуй, наименее прозрачный элемент доступности высшего образования — фактическая
стоимость обучения в конкретном колледже и университете, поскольку существует разница
между ценой в прейскуранте и чистой ценой. Прейскурантная цена — это официальная
стоимость обучения, проживания в общежитии и питания, а чистая цена — это фактическая
сумма, которую выкладывают студенты и их родители с учетом финансовой помощи,
определяемой на основании экономической необходимости или успехов в обучении. Разница
часто существенна, и она противоречит тому, чего интуитивно ожидают многие: поскольку
большинство престижных учебных заведений финансируется лучше других, они могут
позволить себе субсидировать значительную часть расходов принятых студентов. Таким
образом, реальные расходы бедного, но перспективного студента на обучение в элитном
колледже могут оказаться меньше, чем расходы на обучение в менее престижном и
номинально менее дорогом колледже. В этом смысле рейтинг, дающий такую информацию,
действительно полезен.
В соответствии с провозглашенной Обамой задачей помочь студентам и их родителям
«получить максимальный эффект от потраченных на образование денег» в карте показателей
колледжей сделан акцент на трех показателях — процентной доле выпускников,
среднегодовой стоимости обучения и на «заработке после выпуска»42. Эти количественные
показатели проблематичны, поскольку включают только данные по студентам, которые
получили федеральную субсидию, а это означает, что результаты относятся только к
выходцам из малообеспеченных слоев. Поскольку выходцы из более зажиточных слоев с
большей вероятностью будут зарабатывать больше43, данные о заработках искажаются, хотя
в и разных направлениях в зависимости от колледжа и социального состава студентов. Еще
большее беспокойство вызывает тот факт, что в карте «не сделана попытка отделить вклад
школы в заработок от вклада, который можно ожидать от доходов семьи и экзаменационных
отметок студентов или уровня полученного диплома»44. Вместе с тем результаты колледжей
обычно тесно коррелируют с тем, что имеется на входе: студенты, которые приходят с более
высокими академическими способностями (чаще это выходцы из семей с высоким уровнем
образования или доходов), успешнее сдают выпускные экзамены в колледжах45. Институт
Брукингса пытается преодолеть это препятствие и рассчитать, опираясь на дополнительную
информацию, «добавленную стоимость», под которой понимается увеличение дохода,
обеспечиваемое каждым колледжем, в свете доступных данных об абитуриентах. Остается
надеяться на то, что такие количественные показатели «будут полезными многим людям,
желающим знать, насколько хорошо конкретные колледжи готовят студентов к трудовой
карьере».
47
Послание, которое несут количественные показатели:
колледж нужен для того, чтобы делать деньги
Отвлечемся от точности и надежности количественных показателей и обратимся к более
важному вопросу — посланию, которое они несут. Карта показателей колледжей подходит к
высшему образованию с чисто экономической позиции. Единственное, что интересует
создателей карты, — рентабельность инвестиций, то есть соотношение денежных затрат на
колледж и прироста заработка, который дает полученный диплом. Это, безусловно, вполне
естественный интерес: расходы на обучение в колледже съедают все большую часть
семейного дохода или заставляют студентов брать кредит, а материальное обеспечение —
одна из важнейших задач нашей жизни.
Но это не единственная задача в жизни, и, рассматривая высшее образование
исключительно как фактор повышения заработка, мы выхолащиваем его концепцию46.
Однако именно к этому толкает нас карта показателей. Если провести различие
между профессиональной подготовкой, которая ориентирована на производство и
выживание, и образованием, которое ориентировано на придание смысла выживанию, то
видно, что карта показателей касается только профессиональной подготовки47. И
действительно, карта показателей и система Института Брукингса наиболее высоко
оценивают те учреждения высшего образования, которые сосредоточены на технической
сфере, то есть на том, что составляет сущность производства. А вот удовлетворение, которое
приносит курс истории искусства, позволяющий понимать произведения искусства в
историческом контексте; музыкальное просвещение, помогающее слышать тему и ее
вариации в симфонии или понимать джазовую интерпретацию известной темы; курс
литературы, который углубляет понимание поэзии; курс экономики, который дает
представление о ключевых экономических институтах, или курс биологии, который
открывает тайны функционирования нашего организма, показатели рентабельности
инвестиций отразить не могут. Не отражают они и того, что колледж часто становится
местом, где завязываются дружеские связи на всю жизнь, в том числе и самые важные —
супружеские. Все это следовало бы учесть при определении «рентабельности инвестиций»,
но, поскольку эти блага невозможно оценить количественно, их просто опускают.
Опасность количественных показателей, предназначенных для оценки исключительно
финансовой отдачи инвестиций, заключается в том, что они, как и многие другие
количественные показатели, влияют на поведение. Университеты с высшими рейтингами
уже отправляют огромную часть своих выпускников в инвестиционные банки, в
консалтинговые фирмы и престижные юридические компании, то есть туда, где высокие
доходы48. Это достойные профессии, но действительно ли страна заинтересована, чтобы
самых лучших и умных направляли именно туда? Одним из предсказуемых результатов
большого веса будущих доходов выпускников в рейтингах колледжей будет появление
стимула для направления выпускников в самые высокооплачиваемые сферы. А колледжи,
выпускники которых выбирают карьеру в не так хорошо оплачиваемых сферах (вроде школ
или государственной службы), будут наказывать49.
Процветание капиталистического общества зависит от многих институтов,
обеспечивающих противовес рынку, который сосредоточен на извлечении прибыли.
Подготовка школьников и студентов к выполнению роли граждан, друзей, супругов и в
первую очередь подготовка к интеллектуально богатой жизни — вот одна из главных и
настоящих задач колледжей. Обучение студентов пригодным для продажи
профессиональным навыкам — тоже задача колледжей. Но полное подчинение высшего
образования обретению способности зарабатывать в будущем — это подход к оценке с очень
кривым мерилом.
48
Школы
Поиск поддающихся количественной оценке результатов стал еще более важным в
государственной политике в отношении программы среднего образования. По словам
историка образования (а в прошлом сотрудника Министерства образования США) Дианы
Равич, «губернаторы, директора компаний, администрации Буша-старшего и Клинтона
пришли к согласию: нужны измеряемые результаты; нужно видеть, что бюджетные средства,
вложенные в государственное образование, приносят хорошую отдачу»1. В государственном
49
секторе образцом применения количественных показателей стал закон «Ни одного
отстающего ребенка», принятый при президенте Джордже Буше-младшем в 2001 г. Этот
документ, получивший поддержку обеих партий, официально называется «Закон об
устранении разрыва в уровне образования с помощью учета, гибкости и свободы выбора с
тем, чтобы не было ни одного отстающего ребенка».
Проблема и ее мнимое решение
Закон должен был решить реальную проблему: несмотря на то что штаты старались уравнять
финансирование школьных округов, успеваемость учащихся из разных этнических групп
оставалась разной. Сторонники реформы утверждали, что закон устранит пробел в контроле
и учете работы учителей и директоров школ и создаст стимулы для улучшения результатов
школьного образования, если поведение учителей, учащихся и школ будет соответствовать
«целевым показателям результативности»2. Предполагалось, что причиной всех бед
школьного образования является недостаточный профессионализм учителей
государственных школ.
Этот закон родился в результате десятилетней лоббистской кампании, которую вела
чрезвычайно разнородная коалиция бизнесменов, обеспокоенных качеством рабочей силы,
правозащитников, которых волновала разница в успеваемости учеников из разных
этнических групп, и реформаторов, которые видели недостатки школьного образования и
требовали введения национальных стандартов, тестов и оценок3. Выгоды от введения
количественных оценок расхваливали в выражениях, граничащих с утопией. Уильям
Колберг из Национального союза бизнеса утверждал, что «учреждение системы
национальных стандартов в сочетании с количественной оценкой обеспечит каждому
ученику возможность приобрести к окончанию школы умение читать, писать, считать и
отличные знания по общим предметам»4.
Сначала на федеральном уровне появился закон о совершенствовании работы
американских школ, принятый при президенте Клинтоне в 1994 г. В то же самое время
губернатор Техаса Джордж Буш-младший стал активным сторонником обязательного
тестирования и введения контроля и учета в образовании. Закон «Ни одного отстающего
ребенка», который был принят в начале президентства Буша, требует, чтобы штаты
проводили тестирование знаний учащихся 3–8-х классов по математике, чтению и
естествознанию. Он предполагал вывести всех учащихся на уровень «академической
успеваемости» к 2014 г. и создать условия, при которых все отобранные для сравнительной
оценки группы учащихся, в том числе афроамериканцы и испаноязычные, в каждой школе
ежегодно продвигались бы к достижению успеваемости. Закон предусматривал
расширяющийся набор штрафов и взысканий для школ, где указанные группы учащихся не
достигают должных результатов. Этот закон, поддержанный сенатором Эдвардом Кеннеди,
прошел обе палаты конгресса при поддержке республиканцев и демократов, несмотря на
сопротивление консервативных республиканцев, отрицательно относившихся к
распространению власти федерального правительства на образование, и некоторых
либеральных демократов5.
После принятия закона прошло уже больше 10 лет, а выгоды от контроля и учета так и
не проявились. (Другие аспекты этого законодательного акта, который расширял свободу
выбора школы, разрешал создание независимых школ и требовал повышения квалификации
учителей, оказались более успешными, но они выходят за рамки этой книги.) Сторонники
закона хватаются за любые признаки улучшения, чтобы доказать его успешность. Но
отметки на экзаменах в начальной школе улучшаются очень незначительно и не быстрее,
чем это происходило до принятия закона, ну а в средней школе результаты еще плачевнее.
Главное последствие закона «Ни одного отстающего ребенка» — повышение внимания
к «разрыву в успеваемости», то есть к разнице в успеваемости выходцев из Азии,
афроамериканцев, белых и латиноамериканцев6. Отметки выходцев из Азии обычно выше
отметок белых американцев, успеваемость у которых лучше, чем у афроамериканцев и
50
латиноамериканцев. Наиболее заметна низкая успеваемость учащихся-афроамериканцев.
Через восемь лет после принятия закона их относительные успехи не изменились. Средние
баллы на единых государственных экзаменах по английскому языку и математике для
17-летних учащихся практически не менялись с начала 1970-х гг. до 2008 г. В
действительности баллы каждой группы (азиаты, белые американцы, афроамериканцы и
латиноамериканцы) несколько повысились, но из-за изменения этнического состава
учащихся (особенно вследствие увеличения доли латиноамериканцев, успеваемость которых
обычно хуже, чем у азиатов или белых) средний уровень остался прежним7.
Непредвиденные последствия
Непредвиденные последствия закона оказались более существенными и наглядно
продемонстрировали многие характерные для зацикленности на количественных показателях
опасности. Баллы на стандартизированных экзаменах — это количественные показатели, по
которым судят об успехах и неудачах. Они крайне важны для учителей и директоров школ,
зарплата которых, да и сама должность, порою зависит от этого показателя
результативности. Поэтому неудивительно, что учителя при поддержке директоров
перераспределяют учебное время в пользу предметов, по которым проводится тестирование,
то есть в пользу английского языка и математики, сокращая время на изучение других
предметов, таких как история, обществознание, гуманитарные науки, музыка и физкультура.
Обучение математике и английскому языку сосредоточено на развитии навыков,
необходимых для тестирования, а не на получении более широких знаний. Ученики не
получают глубокие знания, а осваивают стратегию сдачи экзаменов. Как показано в сериале
«Прослушка», значительная часть учебного времени уделяется «натаскиванию» на решение
тестов, что вряд ли стимулирует интерес у учащихся. Поскольку на уроках английского
учащихся учат давать ответы на вопросы с готовыми вариантами ответов на основе коротких
текстов, ученики хуже справляются с большими произведениями и с развернутыми
сочинениями, о чем Мэтью Арнольд предупреждал полтора века назад8.
Проблема заключается не в использовании стандартизированных тестов, которые, если
их усовершенствовать должным образом, подогнать под конкретные ситуации, могут стать
хорошими критериями оценки способностей учеников и их успехов в учебе. Выявление
прогресса, то есть оценка изменения результативности учащегося год от года, действительно
полезно. Оно помогает обнаруживать плохо работающих учителей и удалять их из системы9.
Еще важнее то, что такое тестирование может быть по-настоящему полезным в качестве
инструмента диагностики, помогающего учителям определять эффективность различных
аспектов учебной программы. Однако оно лучше всего работает, когда от него не зависит
вопрос «жизни и смерти»10. Превращение этих тестов в основной критерий оценки школ —
вот что создает извращенные стимулы, включая фокусирование на самих тестах в ущерб
более широким задачам учебных заведений.
Критически важное тестирование приводит и к другим проблемам, например к
пресловутому снятию сливок: исследования, проведенные в школах Техаса и Флориды,
показали, что для повышения среднего уровня успеваемости слабых учеников переводят в
разряд инвалидов (не включаемых в группу, по которой проводится оценка)11. Есть и более
вопиющие примеры манипулирования: учителя изменяют ответы учеников, выбрасывают
тесты учеников, которые, скорее всего, получат низкий балл (это явление документально
подтверждено в Атланте, Чикаго, Кливленде, Далласе, Хьюстоне, Вашингтоне и других
городах)12. Или же мэры и губернаторы, стремящиеся к избранию или переизбранию,
снижают сложность тестов или порог их прохождения, чтобы повысить успеваемость и
таким образом продемонстрировать успехи в реформировании образования13.
Акцент на измеряемых результатах стандартизированных тестов порождает еще один
порок, предсказываемый законом Кэмпбелла (см. главу 1): он уничтожает прогностическую
ценность самих тестов. Тесты создаются для оценки знаний и способностей, полученных
учениками в общеобразовательной подготовке. Когда эта подготовка превращается в
51
натаскивание, тесты перестают оценивать то, для чего они предназначены. Если, например,
учебное время перераспределяют в пользу подготовки к тестам с готовыми вариантами
ответов, ученики могут получить более высокие баллы, не имея при этом реальных знаний
по предмету14.
Всего лишь за несколько лет до принятия закона «Ни одного отстающего ребенка»
британское правительство ввело собственную систему количественной оценки школ. В 2008
г. парламентская комиссия, занимавшаяся этой системой, обнаружила во многом те же самые
пороки, что наблюдаются в США15.
Еще больше данных
Несмотря на негативные последствия предусматриваемой законом системы тестирования и
учета, Министерство образования при Обаме удвоило объем отчетности и количественных
показателей в сфере среднего образования. В 2009 г. министерство приняло программу
«Гонка за первенство», которая использовала средства, выделяемые по закону «Об
оздоровлении американской экономики и реинвестировании в нее», для принуждения штатов
к «принятию стандартов и количественных оценок в высшем и среднем специальном
образовании; созданию систем сбора и обработки данных для оценки успеваемости
студентов и привязки результативности преподавателей и администрации к успеваемости
школьников»16. Если целью закона «Ни одного отстающего ребенка» была оценка
результативности школ, то программа «Гонка за первенство» распространила ее на учителей.
Она выделяла средства штатам и школьным округам, готовым принять систему
количественных оценок. Теперь учителей должны были вознаграждать на основании
измеряемых изменений успеваемости учеников. Это называлось «оценкой вклада» или
оценкой «прогресса учеников». Понятно, что учителей нельзя считать полностью
ответственными за отметки учеников, поскольку на них влияет множество внешних
факторов, неподконтрольных учителям. Учителей делали ответственными за объем знаний,
полученных учениками за учебный год. Идея состояла в тестировании учеников в начале и в
конце учебного года для определения «вклада» (который, впрочем, корректировали с учетом
факторов риска вроде расовой принадлежности и семейных корней) и вознаграждения
учителей соответствующим образом. В некоторых штатах на вклад приходилась половина
оценки результативности учителя. Сбор данных, необходимых для оценки учителей по
программе «Гонка за первенство», потребовал очередного увеличения объема тестирования
и количественных показателей17.
Принятие системы показателей вклада учителей подстегнули результаты, полученные
экономистами. В начале применения количественных показателей стало ясно, что одни
учителя действительно лучше других и что у учеников, которым преподают лучшие учителя,
успеваемость выше. Экстраполировав эти ограниченные результаты, некоторые экономисты
сделали вывод, что разрыв в успеваемости можно устранить, если детей из
малообеспеченных семей будут учить 15% лучших преподавателей или если уволить 25%
худших учителей начальной школы. Однако со временем выяснилось, что годовой вклад
постепенно исчезает18.
Вознаграждение в зависимости от результативности
Руководствуясь той же логикой, что привела к программе «Гонка за первенство», школьные
округа начали экспериментировать со схемами вознаграждения учителей на основе
результативности, предлагая бонусы в зависимости от показателей вклада. Результаты
оказались разочаровывающими. В Нью-Йорке масштабный эксперимент с вознаграждением
учителей в зависимости от результативности проходил с 2007 по 2009 г. Изучавший его
экономист Роланд Фрайер не обнаружил «никаких доказательств того, что стимулирование
учителей повышает успеваемость учащихся, посещаемость или успешность окончания
школы… как и доказательств того, что стимулы изменили поведение учащихся или
52
учителей»19. То же самое говорится и в опубликованном в 2011 г. исследовании
Национального центра по стимулированию эффективности при Университете Вандербилта.
Согласно этому исследованию, введение бонусов для учителей в г. Нашвилл, зависящих от
оценки их вклада, не дало видимого результата20. Такой же вывод был сделан и в более
ранних исследованиях, проведенных еще в середине 1980-х гг. Несмотря на такие
доказательства, вера в вознаграждение на основе результативности настолько сильна, что ее
неадекватность надо подтверждать вновь и вновь21.
Неспособность схем вознаграждения в зависимости от результативности принести
осязаемые результаты не удержала федеральное правительство от еще более щедрого
финансирования подобных попыток. Так, в 2010 г. Министерство образования выбрало 62
программы в 27 штатах и за пять лет выделило им около $1,2 трлн из Фонда стимулирования
учителей. США не уникальны в таких экспериментах. Попытки привязать рост заработной
платы учителей, срок пребывания в должности и продвижение по службе к оценке
результативности предпринимаются в Великобритании, Португалии, Австралии, Чили,
Мексике, Израиле и Индии22.
Неустранимый «разрыв в успеваемости»
Пожалуй, главной причиной обеспокоенности сторонников той или иной формы
количественной оценки в области американского образования является разница в
успеваемости учащихся, принадлежащих к разным этническим и расовым группам. Именно
она была основным мотивом действий до зарождения идеи «Ни одного отстающего ребенка»
и принятия соответствующего закона. Этот мотив лежал в центре политики Министерства
образования при президенте Обаме и в пересмотренной версии закона «Ни одного
отстающего ребенка» под названием «Успех для каждого учащегося», принятой в конце 2015
г. (Название этой версии, как и названия законов «Ни одного отстающего ребенка» или
«Операция “Свобода Ираку”», выражало благое намерение.) Обеспокоенность, о которой
идет речь, не ограничивается федеральным уровнем: она присуща образовательной политике
многих штатов и бесчисленного количества муниципалитетов, она доминирует во взглядах
учителей. Школы все больше рассматриваются как «фабрики преодоления разрыва в
успеваемости»23.
Как ни странно, десятилетия сбора и обнародования всех этих количественных
показателей так и не принесли заметных результатов. Положение афроамериканцев и
латиноамериканцев по отношению к белым на удивление стабильно. Хотя при тестировании
учеников четвертых и восьмых классов отмечены незначительные колебания, конечный
результат (то есть показатели в 12-м классе, при окончании школы) почти не изменился.
Учащиеся на всей территории США проходят тесты по чтению и математике в
четвертом, восьмом и двенадцатом классах (это тесты программы национальной оценки
прогресса в образовании). Эксперты считают результаты этих тестов сравнительно
надежными индикаторами результативности, поскольку в отличие от других оценок они «не
являются определяющими», то есть от них не зависит будущее учащихся, учителей или
школ, и у учителей нет стимула заниматься натаскиванием или подтасовывать результаты.
Национальный центр статистики образования публикует ежегодные отчеты «Состояние и
тенденции успеваемости расовых и этнических групп» (Status and Trends in the Educational
Achievement of Racial and Ethnic Groups), где сравниваются уровни успеваемости выходцев
из Азии, белых американцев, латиноамериканцев и афроамериканцев во времени.
Выводы этих отчетов красноречивы. У 12-классников в 2013 г. разрыв по чтению между
белыми и латиноамериканцами составлял 22 пункта по 500-балльной шкале при среднем
балле 288 пунктов и ничем не отличался от того, что был в 1992 г. А разрыв между белыми
американцами и афроамериканцами в 2013 г. составлял 30 пунктов и был больше, чем в 1992
г., когда он достигал 24 пунктов. По математике сравнивались показатели 2005, 2009 и 2013
гг. Результат: разрыв в баллах, полученных белыми учениками, афроамериканцами и
латиноамериканцами, не изменился24.
53
Неспособность школ влиять на относительный уровень успеваемости не должна
вызывать удивления. Со времен опубликования доклада Коулмана «Равные возможности в
образовании» (1966 г.) известно, что результат школьного обучения зависит в значительной
мере от исходных факторов: социального, экономического и образовательного уровня
родителей школьников25. «Хорошими» обычно оказываются те школы, где больше
способных, любознательных и сдержанных учеников, а это, как правило, дети людей,
которые сами отличаются способностями, любознательностью и воспитанностью. Поскольку
эти качества способствуют успеху и воспитываются в семьях, более успешные родители
отправляют в школы детей, у которых больше шансов на хорошую успеваемость.
Общее улучшение школьного образования не приводит к уравниванию результатов. Как
отметил политолог Эдвард Банфилд поколение назад, «любое образование больше идет на
пользу детям из среднего и высшего класса, поскольку принадлежность к этим классам
означает обладание качествами, определяющими предрасположенность к обучению».
Улучшение качества школ может повысить общую успеваемость, но оно скорее увеличивает,
нежели уменьшает разрыв успеваемости у детей, семьи которых характеризуются разными
уровнями человеческого капитала26.
Такие результаты могут привести к мысли о неустранимости разрыва успеваемости
силами школы и о том, что причины разрыва лежат за ее дверями. Тем не менее страсть к
количественным оценкам не ослабевает. Возможно, причина в том, что, как заметил
Банфилд, мысль о неразрешимости некоторых проблем внутренне неприемлема для
значительной части образованных американцев27. Когда речь заходит о разрыве в
успеваемости школьников, возникает впечатление, что в отсутствие ощутимого прогресса
в результатах ресурсы, вкладываемые в количественную оценку, сами по себе становятся
знаком выполнения морального долга.
Во что обходятся попытки ликвидировать разрыв в
успеваемости
Результаты тестов по английскому языку и математике не могут, конечно же,
охарактеризовать все выгоды среднего образования. И не потому, что тесты программы
национальной оценки прогресса в образовании искажены или бессодержательны. Они —
полезный показатель знаний учащихся по соответствующим предметам. Однако школьное
образование не сводится к изучению английского и математики. В школе не только
преподают другие предметы, но и пробуждают интерес к познанию окружающего мира и
воспитывают определенные поведенческие навыки (самоконтроль, упорство, способность
взаимодействовать с окружающими), что повышает шансы на успех во взрослой жизни.
Развитие этих некогнитивных качеств может происходить в классах и школах, не отражаясь
в результатах тестов28.
Фактически усиление акцента на тестировании по английскому и математике чуть ли не
с детского сада происходит в ущерб неучебным занятиям вроде творческих игр и рисования,
которые способствуют индивидуальному развитию, но трудно поддаются количественной
оценке29. Более того, хотя лучшие учителя и могут повысить успеваемость, этот эффект со
временем исчезает, а некогнитивные навыки сохраняются30. Вопросы развития личности
важны, и это обстоятельство подтолкнуло некоторые законодательные органы включить
количественную оценку моральных качеств в системы отчетности!31
Себестоимость попыток превратить школы в фабрики по устранению разрыва в
успеваемости с помощью количественных показателей, таким образом, имеет не только
финансовую сторону. Чем больше концентрируют внимание на отметках слабых учеников
по чтению и математике, тем больше пренебрегают преподаванием истории и основ
гражданственности. Педагогические стратегии, эффективные при работе со слабыми
учениками (такие как продление занятий в школах и сокращение летних каникул),
распространяют на тех, кому это не нужно, а работе с более одаренными и талантливыми
54
детьми, от которых, возможно, зависит будущее национальной экономики, уделяют меньше
внимания32.
Акцент на оценке разрыва в успеваемости и требование ликвидировать его имеют и
другие тревожные последствия. Например, навешивание на учителей и школы вины за то,
что находится за пределами их досягаемости. Закон «Ни одного отстающего ребенка»,
«Гонка за первенством» и подобные ей программы возлагают ответственность за устранение
разрыва в успеваемости на тех, у кого нет для этого ни сил, ни возможностей. Это в
буквальном смысле рецепт по деморализации учителей. Добавьте еще дилемму,
поставленную перед учителями: реализация множества целей образования или натаскивание
на тесты; выполнение широкой образовательной миссии или приверженность узкому набору
критериев, от которых зависит зарплата. Какой бы курс ни выбрали учителя, они
проигрывают. Кроме того, многие учителя воспринимают режим, создаваемый культурой
тестирования и количественных оценок, как ущемление самостоятельности и права
действовать по своему усмотрению при разработке и осуществлении учебных планов.
Результатом стала волна увольнений опытных учителей и перехода их из государственных
школ в частные, где нет поклонения количественным показателям и отчетности33.
Таким образом, за самовосхваление тех, кто настаивает на вознаграждении учителей в
зависимости от результативности в целях устранения разрыва в успеваемости,
расплачиваются те, кто реально занимается образованием детей. Не все, что поддается
количественной оценке, можно улучшить — по крайней мере с помощью оценки.
55
Здравоохранение
Нигде количественные показатели так не популярны, как в здравоохранении. Пожалуй,
нигде они не кажутся более перспективными. И ставки очень высоки.
Но и здесь количественные показатели выполняют множество ролей, как действительно
полезных, так и сомнительных.
56
Одна из ролей — информационная и диагностическая: отслеживание различных
методов и манипуляций с последующим сравнением результатов для выявления наиболее
успешных. Успешные методы и манипуляции могут использоваться другими врачами.
Другая роль раскрываемых показателей — обеспечение прозрачности для потребителей
и создание базы для сравнения и конкуренции среди поставщиков услуг.
Есть и еще одна роль — основа системы вознаграждения в зависимости от
результативности, где отчетные показатели подкрепляются денежными выплатами или
взысканиями. Сторонники использования количественных показателей в здравоохранении
часто обсуждают эти очень разные роли в одном ряду.
В последние десятилетия проявилось стремление использовать количественные
показатели не только для повышения безопасности и эффективности, но и для обуздания
затрат.
Стремление к контролю затрат
К использованию количественных показателей для контроля затрат подталкивают с разных
сторон и по разным мотивам. На протяжении многих лет стоимость медицинских услуг
растет быстрее национального дохода, и такая ситуация сохранится предположительно и в
следующем десятилетии: в 2014 г. сектор здравоохранения составлял 17,5% американской
экономики, а к 2025 г. достигнет, как ожидается, 20,1%. Для этого есть весомые причины:
расходы на здравоохранение экономисты относят к расходам на «предметы роскоши» — чем
богаче люди, тем они более склонны тратиться на них. К тому же по мере старения
поколения беби-бумеров эта большая группа населения достигает возраста максимальных
трат на медицинское обслуживание. Добавьте к этому появление все более
специализированных лекарств и быстрый рост цен на медикаменты. Принятие закона о
доступном медицинском обслуживании означало, что на правительство ложится еще
большая доля расходов на здравоохранение в США — к 2025 г. она должна вырасти до
47%1.
Рост стоимости здравоохранения привел к тому, что и частные, и государственные
страховщики (в Великобритании к ним относится Государственная служба здравоохранения,
а в США — Medicare, Medicaid и Администрация по делам ветеранов) стали требовать от
врачей и больниц снижения ставок и улучшения результатов медицинской помощи. На фоне
усиления требований сократить стоимость новая технология ведения медицинских карт в
электронном формате облегчила сбор медицинских данных и создала соблазн использовать
их для выявления проблем. Это привело к распространению публичной отчетности и к
вознаграждению на основе результативности, что преподносилось как панацея от недугов
системы здравоохранения в США и за их пределами. Проблемы действительно реальны:
таким плательщикам, как страховые компании или правительственные агентства вроде
Medicare и Medicaid, нужны надежные свидетельства того, что врачи и больницы оказывают
помощь эффективно с медицинской точки зрения и в финансовом плане. Но рекламируемые
средства исцеления системы здравоохранения порою оказываются ничуть не лучше недугов,
которые они должны лечить.
Место американской системы здравоохранении
Прежде чем продолжить, стоит познакомиться с основными показателями, используемыми
для оценки американской системы здравоохранения, с показателями, которые часто
приводят в качестве доказательства необходимости усиления учета и вознаграждения в
зависимости от результативности. Приведенные ниже данные взяты из доклада Всемирной
организации здравоохранения (ВОЗ) «О состоянии здравоохранения в мире в 2000 г.»,
который поставил американскую систему здравоохранения на 37-е место в мире и заявил:
«Трудно не обратить внимание на то, что… США находятся на первом месте по расходам на
здравоохранение на душу населения, но занимают 39-е место по младенческой смертности,
57
43-е место по смертности женщин, 42-е место по смертности мужчин и 36-е место по
ожидаемой продолжительности жизни»2. Скотт Атлас, врач и медицинский аналитик,
внимательно изучил эти данные и обнаружил, что они весьма обманчивы.
Большинство из нас полагает, что рейтинг ВОЗ характеризует общий уровень охраны
здоровья. Однако в действительности охрана здоровья занимает лишь 25% в шкале оценок.
Половина баллов в оценке ВОЗ приходится на равенство: 25% — на «распределение
здоровья», еще 25% — на «финансовую справедливость», причем «справедливость»
определяется как уплата всеми гражданами одинаковой доли дохода на нужды
здравоохранения. Иными словами, справедливой считается только такая система, при
которой чем богаче человек, тем больше он платит за здравоохранение, то есть этот критерий
идеологический. Присвоение численного рейтинга (США — на 37-м месте) придает оценке
видимость объективности и надежности3. Но на самом деле рейтинг обманчив.
Ну а цифры, характеризующие смертность и продолжительность жизни? Как
оказывается, на них сильно влияют факторы, находящиеся за пределами системы
здравоохранения, факторы, связанные с культурой и образом жизни. Избыточный вес
приводит к развитию хронических, тяжелых недугов, таких как диабет второго типа и
сердечно-сосудистые заболевания. Американцы в среднем полнее граждан других стран
(хотя некоторые страны быстро догоняют США в этом отношении). Курение также
способствует развитию сердечно-сосудистых, онкологических и других заболеваний и может
сказаться через десятилетия после отказа от этой вредной привычки. Оказывается, по
международным стандартам американцы много курили из поколения в поколение вплоть до
конца 1980-х гг. У американцев очень высокий уровень смертности от огнестрельных
ранений, что прискорбно, но не имеет ни малейшего отношения к системе здравоохранения4.
Более того, США — страна с этнически разнородным населением, и у некоторых этнических
групп (например, у афроамериканцев) непропорционально высокий уровень детской
смертности, что связано с социальными, культурными и, возможно, генетическими
факторами5. Короче говоря, многие проблемы американского здравоохранения являются
результатом не плохой медицинской помощи, а социальных и культурных факторов,
лежащих за пределами системы здравоохранения. Что касается диагностики и лечения
заболеваний, как отмечает Атлас, то американская медицина оказывается одной из лучших в
мире6.
В данном случае, как и в других сферах вроде образования и обеспечения
общественного порядка, многие из важнейших факторов, от которых зависит относительный
успех или провал, лежат за пределами формальных систем, которые мы пытаемся оценивать
и на которые возлагаем ответственность. Достаточная физическая нагрузка, правильное
питание, ограничение оборота огнестрельного оружия, отказ от курения, от злоупотребления
алкоголем, от наркотиков и от незащищенного секса — вот основные факторы, влияющие на
здоровье и продолжительность жизни. Врачи и работники системы здравоохранения должны
воздействовать на эти факторы, что они и пытаются делать. Однако модели поведения по
большей части лежат за пределами их контроля. Это надо иметь в виду при оценке
предполагаемых провалов американской медицины. Но даже если принимать алармистские
данные доклада ВОЗ с долей скептицизма, то в отношении дороговизны здравоохранения в
США возразить нечего.
Количественные показатели как решение
Пожалуй, самая популярная тенденция в американской политике здравоохранения — это
поклонение показателям результативности, отчетности и прозрачности. Предполагается, что
показатели результативности позволят медицинским работникам лучше оценивать
клинические практики и отслеживать их использование, а страховщикам — вознаграждать
успехи и взыскивать за провалы. Рейтинги и отчеты должны обеспечить прозрачность,
которая позволит пациентам более осознанно выбирать поставщиков медицинских услуг.
58
Один из поборников внедрения количественных показателей в здравоохранение —
Майкл Портер из Гарвардской школы бизнеса. Портер утверждает, что «для быстрого
улучшения в любой сфере необходима оценка результатов. Этот принцип хорошо известен в
сфере управления. Команды совершенствуются благодаря отслеживанию прогресса во
времени и сравнению своих результатов с результатами коллег внутри организации и за ее
пределами. Действительно, тщательная оценка стоимости (результатов и затрат) — это,
пожалуй, самое важное в совершенствовании здравоохранения. Стоит только начать
систематически оценивать результаты в здравоохранении (не важно, в какой стране), как эти
результаты улучшаются»7.
Портер — ярый сторонник публичного раскрытия результатов, которое, как считается,
дает мощный стимул к повышению результативности. Теоретически в этом, наверное, есть
смысл.
Три истории успеха
Портер указывает на Кливлендскую клинику как на пионера применения рекомендуемого им
подхода. Она ежегодно публикует 14 «отчетов о результатах», в которых раскрывает свои
достижения в лечении поразительно широкого круга заболеваний. В отчетах (они доступны в
интернете) сразу бросается в глаза высокий уровень успеха при лечении болезней всех
категорий. Клиника притягивает к себе пациентов со всего мира.
Убедительным (и также рекламируемым Майклом Портером) примером потенциальных
достоинств количественных показателей в медицине является Geisinger Health System,
возглавляемая врачами некоммерческая организация, обслуживающая в штате Пенсильвания
примерно 2,6 млн человек, многие из которых — сельские жители с низким доходом.
Geisinger — витрина американского здравоохранения, и для этого есть основания8. Как
пионер в использовании электронных медицинских карт, Geisinger в 1995 г. вложила более
$100 млн в создание системы электронного документооборота и предоставила пациентам
возможность доступа к врачам через онлайн-портал. Эта система позволяет быстро
передавать информацию поставщикам услуг и отслеживать результативность подразделений,
в том числе индивидуальных врачей. Организация прикрепляет медсестер-кураторов к
пациентам из групп повышенного риска, которые информируют пациентов, следят за их
состоянием, корректируют планы лечения и делают последующие назначения. Два наиболее
затратных и распространенных недуга, с которыми сталкиваются американские врачи, — это
диабет и проблемы с сердцем и сосудами. В Geisinger пациентами с этими заболеваниями
занимаются интегрированные бригады, в состав которых входят врачи и фельдшеры,
фармацевты, диетологи и другие специалисты. Вместо распределения лечения между
несколькими специалистами, контакты которых друг с другом могут быть минимальными, в
Geisinger используется комплексный подход. Примерно 20% заработной платы врачей
привязаны к целям, касающимся сокращения расходов, повышения качества медицинской
помощи и удовлетворенности пациентов, а остальные 80% зависят от оказываемых услуг.
Благодаря разнообразным инновационным программам Geisinger снизила уровень затрат и
повысила эффективность лечения.
Одним из примеров успешного применения количественных показателей является
оценка результативности мер по снижению уровня больничных инфекций, связанных с
«центральными венозными катетерами». Центральные венозные катетеры — гибкие трубки,
вводимые в крупные вены на шее или груди пациента для подачи в организм больного
лекарств, питательных веществ и жидкостей. Это один из самых распространенных
атрибутов современной больницы и до недавнего времени одна из самых частых причин
осложнений. Дело в том, что катетеры являются источником инфекций, которые в худшем
случае приводят к смерти больного, а в лучшем — к дорогостоящему лечению. По оценкам,
в 2001 г. в США число случаев заражения крови через катетер достигло 82 000. Стоимость
лечения в расчете на один случай заражения варьировала от $12 000 до $56 000. Почти 32
000 человек умерли9.
59
С тех пор уровень больничных инфекций резко снизился, что произошло в немалой
степени благодаря усилиям Питера Проновоста, реаниматора из больницы Университета
Джонса Хопкинса в Балтиморе. Проновост вместе с коллегами разработал программу,
основанную на выполнении пяти стандартных, но простых процедур, которые снизили
вероятность заражения через центральные венозные катетеры. Отработав эту программу в
университетской больнице, Проновост добился ее внедрения в больницах штата Мичиган,
где она получила название «Мичиганский проект основ интенсивной терапии». Аналогичные
программы с тех пор были реализованы на всей территории США, а также в Англии и
Испании. Результаты оказались впечатляющими: частота занесения инфекций через кровь
снизилась на 66%, что позволило спасти тысячи жизней и сэкономить миллионы долларов.
Проект «Основы интенсивной терапии» включает ежемесячный сбор данных об уровне
инфицирования, которые направляются руководителям отделений реанимации и
руководству больниц. В целях предотвращения ошибок результаты обсуждаются с
медперсоналом. Это пример диагностического использования количественных показателей.
В этом случае получают данные, которыми может воспользоваться врач или лечащий
коллектив больницы и которыми можно поделиться с другими врачами и больницами, чтобы
понять, что работает, а что нет, и таким образом повысить эффективность медицинской
помощи.
Проект «Основы интенсивной терапии» предполагает широкое использование
диагностических данных, а также применение моральных стимулов в виде мнения коллег.
Сам Проновост объясняет успех тем, что проект реализовывался через клинические
сообщества и был нацелен на достижение общих профессиональных целей и снижение
частоты инфицирования через центральные венозные катетеры как на социальную проблему.
Сравнение частоты инфицирования по больницам также порождало давление коллег и
стремление не отстать или превзойти другие медицинские учреждения по этому показателю.
Что следует из этих примеров успеха
Кливлендская клиника, Geisinger и проект «Основы интенсивной терапии» часто приводят в
качестве доказательства эффективности количественной оценки результативности, и для
этого есть основания. И все же если копнуть поглубже, то оказывается, что количественные
показатели так весомы в силу их встроенности в более широкую институциональную
культуру.
Можно ли считать, что успех Кливлендской клиники является следствием публичного
раскрытия результатов ее работы? Или же клиника раскрывает свои результаты именно
потому, что они производят впечатление? Кливлендская клиника была одним из лучших
медицинских учреждений мира до появления показателей результативности и не сдала
позиции в эпоху показателей. Вывод о существовании причинно-следственной связи между
качеством клиники и раскрытием ее показателей результативности является логической
ошибкой — post hoc ergo proper hoc («после этого — значит вследствие этого»). Успех
может в значительно большей мере определяться местными условиями (характером
использования показателей в Кливлендской клинике), а не самой оценкой качества10.
Количественные показатели в Geisinger эффективны потому, что они встроены в более
широкую систему. Принципиально важно то, что определением количественных критериев и
оценкой результативности занимаются команды, в состав которых входят как врачи, так и
администраторы. Поэтому показатели результативности не спускаются и не оцениваются
сверху теми, кто не занимается непосредственной практикой. Оценки строятся на
сотрудничестве и мнении коллег. Geisinger также использует показатели для повышения
результатов амбулаторного обслуживания пациентов. Вот как объясняет успехи этой
системы Гленн Стилл, врач и генеральный директор Geisinger: «Наши новые подходы к
оказанию медицинской помощи эффективны потому, что руководят процессом врачи,
получающие обратную связь в режиме реального времени и уделяющие первостепенное
внимание повышению качества лечения. А это мотивирует их к изменению поведения».
60
Критически важно и то, что «работники, непосредственно занимающиеся обслуживанием
пациентов, сами определяют, какие процессы нужно изменить. Прямое участие
медперсонала в принятии решений обеспечивает заинтересованность и повышает
вероятность успеха». Опыт Geisinger ясно показывает важность участия поставщиков услуг в
разработке и отслеживании показателей результативности. Ключевое значение имеет
соответствие количественных оценок профессиональному чувству миссии.
Питер Проновост, положивший начало движению за снижение частоты инфицирования
через центральные катетеры, уверен, что «проект “Основы интенсивной терапии”
продемонстрировал потенциал добровольных усилий, которые опираются на внутреннюю
мотивацию, обусловленную профессиональными нормами». Проновост не возражает против
дополнения этих факторов публичным раскрытием результатов и финансовыми стимулами.
Однако, по его собственному убеждению, улучшение медицинских результатов произошло
главным образом благодаря «сдвигу в представлениях врачей, которым показали, что
уровень инфицирования не является неизбежным и поддается контролю».
Впрочем, вывод, сделанный государственными центрами услуг по программам Medicare
и Medicaid, был таков: приступить к раскрытию данных об уровне инфицирования в 2011 г.,
а через год после этого начать наказывать больницы с высоким уровнем инфицирования,
удерживая причитающееся им вознаграждение. Это создало структуру стимулов,
существенно отличающуюся от той, что существовала в рассмотренных нами случаях
успеха, когда больше полагались на внутреннюю, а не на внешнюю мотивацию.
Более широкая картина: количественные показатели,
вознаграждение в зависимости от результативности,
рейтинги и карты отчетности
Если покопаться в материалах по оценке результативности в медицине, то успехи
Кливлендской клиники, Geisinger и проекта «Основы интенсивной терапии» окажутся скорее
исключением, чем правилом.
Большинство профессионалов, пишущих о количественных показателях в медицине,
кровно заинтересовано в успешности количественной оценки результативности. Их карьера
во многом зависит от эффективности сбора и анализа данных. Таким образом,
многочисленные исследования, демонстрирующие отсутствие или весьма
Достарыңызбен бөлісу: |