ОБУЧЕНИЕ СТАРЫХ СОБАК НОВЫМ ФОКУСАМ

ОБУЧЕНИЕ СТАРЫХ СОБАК НОВЫМ ФОКУСАМ

Мифы об интеллекте и обучении

МИФ

Тесты на интеллект пристрастны 15

к определенным группам людей

Немногие иконы популярной психологии являются предметом такого огромного количества заблуждений, как тесты на выявление коэффициента умственного развития (показателя интеллекта; Gottfredson,

1997). Поэтому прежде, чем рассмотреть, пожалуй, самое главное заблуждение, приведем немного истории.

Больше века назад Чарльз Спирман показал, что результаты измерений множества разнообразных познавательных способностей имеют свойство позитивно коррелироваться. В своей классической работе он

предложил обозначать общность, лежащую в основе этих способностей, фактором «общего уровня интеллекта» (Spearman, 1904). Хотя Спирман признавал и существование более специфичных способностей, огромное количество данных показывает, что умственные способности подкреплены именно этим фактором (Carroll, 1993). Другие названия, используемые для обозначения фактора общего интеллекта, — общая умственная способность, показатель интеллекта и в честь его первого сторонника — «G» Спирмана. Большинство тестов на выявление показателя интеллекта типа широко используемой Шкалы умственных способностей по Векслеру (Wechsler, 1997) в ее последней, четвертой версии, содержат многочисленные подтесты, вроде словарного и арифметического. Позитивные ассоциации среди подтестов этих тестов совместимы с «G» Спирмана, что поддерживает использование единого подсчета показателей интеллекта для многих важных целей.

Не воспринимая интеллект как произвольную конструкцию, которая полностью зависит от того, как мы хотим измерять ее, большинство экспертов определяют интеллект одинаково: это очень общая умственная способность, которая, помимо прочего, подразумевает способность рассуждать, планировать, решать проблемы, мыслить абстрактно, понимать сложные идеи, учиться быстро и учиться на своем опыте. Это не просто книжные знания, узкий академический навык или способность выполнять тесты. Скорее он отражает более широкую и более глубокую способность к пониманию нашего окружения — умение «въезжать», «по-

нимать смысл» вещей или «выяснять», что нужно делать (Gottfredson, 1997).

Интеллект - это не просто книжные знания, это умение «понимать смысл» вещей или «выяснять», что нужно делать.

Некоторые критики обвинили тесты на интеллект в том, что они предсказывают результаты только других аналогичных тестов. В оживленной интернет-дискуссии среди преподавателей относительно тестов на интеллект один участник сказал, что «показатель интеллекта — это откровенно слабый предсказатель чего-нибудь, кроме показателя интеллекта» (http: //chronicle.com/blogs/election/2456/can-iq-predict-how-well-a-president-will-perform; 19 сентября 2008). Однако данные говорят об обратном. Пусть они далеко и не идеальные, но тесты на выявление показателя интеллекта дают результаты, которые являются наиболее справедливыми и рентабельными предсказателями академической успеваемости и профессиональной пригодности

Sackett, Schmitt, Ellingson 8c Kabin, 2001;

Schmidt 8c Hunter, 1998). Дин Кит Симон-тон даже показал, что предполагаемые показатели интеллекта американских президентов — это хорошие предсказатели их успеха у власти, и об этом говорят историки. Из-за их полезности лица, принимающие решения, часто используют тесты на интеллект при принятии «ключевых» (важных с точки зрения последствии) решении, в том числе — при приеме на работу.

Когда в 1960-х годах набрало силу движение за гражданские права, многие исследователи начали изучать

различия в показателях интеллекта у разных расовых и этнических групп. Стало популярным объяснять различия среди групп пристрастностью теста: большинство исследователей предполагали, что подобные тесты отдавали предпочтение белым мужчинам (Anas-tasi & Urbina, 1997). Обычное использование тестов на интеллект и вес, придаваемый результатам этого теста, означают, что, если эти тесты пристрастны к женщинам или представителям нацменьшинств, результатом этого может стать широкомасштабная и несправедливая дискриминация. Поэтому потенциальная пристрастность таких тестов — это далеко не просто вопрос педантизма или политкорректности.

Что такое пристрастие в тесте и как его распознать? Одно широко распространенное заблуждение состоит в том, что, если две группы показывают разные результаты, значит, тест пристрастен. Мы можем найти это неправильное представление в целом ряде популярных работ. Это обвинение особенно часто повторяется критиками подобного тестирования и других стандартизированных тестов. В начале 1980-х защитник прав потребителей (а позже неоднократно выдвигавшийся кандидат в президенты) Ральф Ней-дер и его коллеги утверждали, что экзамен на выявление академических способностей (ЭВАС) должен быть запрещен, потому что более бедные учащиеся и многие учащиеся из групп нацменьшинств обычно показывают более слабые результаты по сравнению с другими учащимися (Kaplan, 1982). В своей статье в журнале «Nation» Джей Рознер утверждал: последовательные различия при выполнении экзамена между учениками, представляющими большинство и меньшинство, демонстрируют, что стандартизированные тесты пристрастны.

Многие судьи также постановили, что различия в экзаменационных отметках двух групп, нацбольшин-ства и нацменьшинства, предполагают наличие пристрастности. В 1980 году в важном судебном решении по делу Лэрри П. против Райлса 9-й Окружной аппе-ляционный суд Калифорнии постановил, что беспристрастный тест по определению означает «ту же систему оценок, если он проводится для разных групп людей», и установил строгие границы использования проверок умственных способностей для того, чтобы

классифицировать детей как умственно отсталых в
слабых формах для образовательных целей (Bersoff, 1981). В другом судебном деле страховая компания «Golden Rule» предъявила иск департаменту выдачи лицензий штата и издателю, опубликовавшему тест, из-за того что во время теста на получение сертификата чернокожие дали меньше правильных ответов, чем белые (Golden Rule Insurance Company et al. v. Washburn et al., 1984). Многие адвокаты позже подали судебные иски на том основании, что различия в экзаменационных отметках в группах доказывают — этот тест не был беспристрастным.

Но в этом популярном представлении есть серьезная неувязка: группы могут фактически отличаться по оцениваемой характеристике (Anastasi & Urbina, 1997). Почти наверняка отчеты врача показали бы, что средний вес взрослых пациентов мужского пола, больше чем вес взрослых пациенток. Этот факт не предполагает, что шкала, измеряющая вес пациентов, предвзята, потому что мужчины обычно бывают тяжелее женщин. Различия между группами необязательно демонстрируют пристрастность, хотя они могут предположить ее наличие в некоторых случаях. По крайней мере, частично это недоразумение может проистекать из неправильного использования эвристической репрезентативности (см. Введение). На

протяжении большой части американской истории многие результаты, которые показывали большие групповые различия, типа различий в школьной успеваемости у разных рас или различия в статусе работы между мужчинами и женщинами, объяснялись в значительной степени социальной пристрастностью (предубеждением). Поэтому сегодня, когда люди видят, что тест приводит к различным результатам в группе, они могут автоматически приравнять эти различия к пристрастности.

Как мы можем узнать, вызваны ли различия в экзаменационных отметках группы пристрастностью теста? Нужно сосредоточиться на законности предсказаний теста. Если мы используем тест на интеллект, чтобы предсказать работоспособность в школе или на рабочем месте, мы должны собрать данные по множеству показателей интеллекта претендентов и их работоспособности. Если различия в оценках интеллекта в группе сопровождаются примерно сопоставимыми различиями в работоспособности, такой тест беспристрастен. Беспристрастный тест не недооценивает,

не переоценивает показатели членов любой группы. Напротив, если группы получают разные результаты в тесте по выявлению показателей интеллекта, но имеют одинаковую работоспособность, мы можем заключить, что этот тест пристрастен. Одним последствием этого может быть несправедливая дискриминация в пользу группы, работоспособность которой предсказана точно, в ущерб группе, работоспособность которой предсказана приблизительно.

К счастью, многие исследователи проанализировали возможность того, что показатели теста на интеллект пристрастны к женщинам и нацменьшинствам. Две группы, собранные Национальной академией наук (Hartigan & Wigdor, 1989; Wigdor & Garner, 1982), и Целевая группа американской психологической ассоциации (Neisser et al., 1996), в состав которых входили люди, представляющие разнообразный диапазон экспертных мнений и оценок, сделали тот же вывод: нет никаких доказательств того, что тесты на интеллект или другие стандартизированные тесты типа экзамена на определение академических способностей (ЭОАС) принижают результаты женщин или нацменьшинств. Сегодня большинство экспертов соглашаются с тем, что вопрос о пристрастности теста на интеллект решен окончательно, как может быть решен любой научный спор (Gottfredson, 1997, 2009; Jensen, 1980; Sackett et al., 2001; Sackett, Borneman Sc Connelly,

2008).

Несмотря на данные исследований, некоторые психологи заявляют о том, что в утверждении о пристрастности теста на интеллект есть зерно истины.

И вот почему. Исследователи могут оценить потенциальную пристрастность теста не только на уровне целого теста, но и на уровне пунктов, составляющих этот

Для любой пары групп (таких как женщины — мужчины, или афроамериканцы — белые) мы можем исследовать каждый пункт теста на наличие ФПР. Если члены двух групп показывают одинаковые результаты в остальной части теста, но разные по какому-то одному пункту, это доказывает пристрастность вопросов, представленных в этом пункте. Исследователи обычно обнаруживают, что многие пункты теста на интеллект отвечают критериям ФПР. Рой Фридл и

Ирэн Костин нашли ФПР для пунктов на выявление вербальной аналогии в ЭОАС и выпускных экзаменах, включая аналогии с такими легкими корнями, как в словах «саnое (байдарка): rapids (водоскаты)», и такими трудными, как «sycophant (льстец): flattery (лесть)». На первый взгляд обнаружение ФПР для многих пунктов теста подвергает сомнению вердикт относительно беспристрастности теста в целом. В конце концов: как могут отдельные пункты демонстрировать ФПР без наличия пристрастности в результатах всего теста?

Оказывается, что многие или большинство случаев ФПР малозначительны (Sackett at al., 2001). Даже среди позиций, которые показывают ФПР, направление пристрастности непостоянно. Одни позиции предпочтительны для одной группы, а другие для другой, поэтому последствия обычно аннулируются, когда позиции объединяются в общий итог (Sackett et al., 2001). Таким образом, ФПР не обязательно приводит к необъективности теста (Freedle & Kostin, 1997).

Как мы обнаружили в этой книге, пропасть между исследованиями и общепринятым мнением часто весьма велика, и это особенно верно в сфере интеллекта (Phelps, 2009). Тесты на интеллект законно предсказывают результаты во многих важных областях повседневной жизни без каких бы то ни было доказательств пристрастности в отношении женщин или нацменьшинств. Настоящая пристрастность возникает тогда, когда мы начинаем винить в различиях групповых результатов «посредников», то есть сами тесты на интеллект, и пренебрегаем потенциальными внешними объяснениями типа неблагоприятных культурных факторов.

185

Мифы об интеллекте и обучении

Если вы не уверены в ответе на экзамене, лучше всего придерживаться своего первоначального ответа

16

Немногие фразы вызывают у студентов колледжа больше страха, чем эти три страшных слова: «Тест на множественный выбор». И, наверное, из-за того, что многие студенты предпочли бы сидеть на стуле с гвоздями, чем сдавать такой тест. Они всегда ищут каких-то советов, которые помогут им улучшить свои результаты в борьбе против излюбленного оружия интеллектуальных пыток, которое использует большинство профессоров. К счастью, горстка таких советов действительно может похвастаться научной поддержкой. Например, во время сдачи тестов на множественный выбор более правильными и более точными будут короткие ответы (например, на утверждение

«1787» будет более точным ответом, чем ответ «между 1770 и 1780») и ответ «все вышеупомянутые» (Geiger, 1997; Gibb, 1964).

Но, пожалуй, самым широкораспространенным представлением о сдаче такого рода тестов является представление о том, что всегда нужно придерживаться первоначального ответа, особенно когда нет уверенности в правильности ответа. В ходе разных опросов было выявлено: большой процент студентов колледжа (от 68 до 100%) говорят, что изменение первоначальных ответов в тесте не улучшит их показатели. А примерно 75% утверждают, что изменение ответов фактически снизит их показатели (Ballance, 1977; Benjamin,

Cavell & Shallenberger, 1984). Этот миф, иногда назы-

К тому же множество вебсайтов, включая и созданные специально для предоставления учащимся советов по поводу сдачи тестов, сообщают своим читателям о том, что менять свои первоначальные ответы — это плохо, и призывают их доверять своим первым догадкам. На одном таком вебсайте сказано, что учащиеся «не должны менять свой ответ — обычно ваш первый ответ правилен, если только вы не неправильно прочитали вопрос» (TestTakingTips.com). А еще один вебсайт советует «доверять вашей первой догадке. Когда вы отвечаете на вопрос, следуйте своей первой

А что на самом деле говорят научные открытия? Ежегодно различные экзамены сдают более 3 миллио-

нов учащихся, и этот вопрос едва ли можно назвать незначительным. В действительности научные данные удивительно последовательны, и они указывают на выводы, прямо противоположные тем, что приводятся на этих вебсайтах (Benjamin et al., 1984; Geiger, 1996; Skinner, 1983; Waddell & Blankenship, 1994).

Более 60 исследований приходят, по существу, к одному и тому же вердикту: когда учащиеся изменяют ответы в тестах на множественный выбор (а это обычно видно по стиранию или зачеркиванию предыдущих ответов), они с большей вероятностью меняют неправильный ответ на правильный, чем правильный на неправильный. На каждый балл, который учащиеся теряют, изменяя ответ с правильного на неправильный, они приобретают в среднем примерно два-три балла, когда изменяют ответ с неправильного на правильный (Benjamin et al., 1984; Foote & Belinky, 1972; Geiger, 1996). А учащиеся, которые изменяют больше ответов, обычно получают более высокие экзаменационные отметки, чем другие студенты, хотя это открытие всего лишь корреляционное (см. Введение) и может отразить тот факт, что учащиеся, часто меняющие свои ответы, изначально лучше проходят тесты, чем их коллеги (Geiger, 1997; Friedman 8с Cook, 1995). Все эти выводы применимы не только к тестам на множественный выбор, проводимым в классах, но и к стандартизированным тестам типа экзамена на выявление академических способностей или выпускного экзамена.

Нужно признать, что есть два варианта стратегии «когда сомневаешься, измени свой ответ». Во-первых, исследования показывают, что студентам не следует изменять свой ответ, если они просто предполагают,

что этот ответ может быть неправильным; изменение ответа полезно только тогда, когда есть серьезное основание подозревать, что ответ неверен (Shatz & Best, 1987; Скиннер, 1983). Во-вторых, есть определенные доказательства того, что учащиеся, которые показывают плохие результаты в тестах на множественный выбор, могут извлечь меньшую пользу от изменения своих ответов, чем другие ученики (Best, 1979). Поэтому эти учащиеся могут захотеть изменить свои ответы только тогда, когда они вполне уверены в том, что эти ответы являются неправильными.

Существует на удивление мало исследований, которые бы изучали вопрос, почему учащиеся верят, будто изменение первоначальных ответов — в большинстве случаев плохое решение. Но на ум приходят три вероятных объяснения. Во-первых, как мы видели, большинство профессоров, которые дают своим учащимся советы по поводу изменения или неизменения ответов, советуют им не менять ответы в тесте (Benjamin et al., 1984). Поэтому это ошибочное убеждение, вероятно, частично распространяется через «сарафанное радио» (Higham 8с Gerrard, 2005). Во-вторых, исследования показывают, что учащиеся с большей вероятностью будут помнить те пункты теста, ответы на которые они изменили с правильных на неправильные, чем те, ответы на которые они изменили с неправильных на правильные (Bath, 1967; Ferguson, Kreiter, Peterson, Rowat 8c Elliott, 2002). Поскольку горький привкус неправильных решений задерживается дольше, чем память о правильных решениях («С какой ста-

ти я изменил тот ответ? В первый раз у меня было все правильно»), наши ошибки, допущенные в тесте, обычно запоминаются надолго. Как следствие, такой феномен, как эвристическая доступность (пригодность), может заставить учащихся оценивать слишком высоко риск совершения ошибок при изменении ответов.

Как мы узнали ранее (см. Введение), эвристич-ность — это мысленный кратчайший путь, или эмпирическое правило. Когда мы используем эвристическую доступность, мы оцениваем вероятность какого-то события по тому, насколько легко оно приходит нам на ум. На самом деле, как показывают исследования, учащиеся, которые изменяют правильные ответы на неправильные, помнят это намного лучше, чем учащиеся,

Наши первые догадки - это всего лишь догадки. Если у вас есть серьезное основание полагать, что вы неправы, обратитесь к своей голове, а не к сердцу.

которые изменяют неправильные ответы на правильные, в значительной степени потому, что в первом случае изменения оказывают на человека более продолжительное эмоциональное воздействие (Kruger, Wirtz & Miller, 2005). В-третьих, исследования показывают, что большинство студентов переоценивают свою способность давать правильные ответы в тестах на множественный выбор (Pressley 8с Ghatala, 1988), поэтому они могут предположить, что изменение ответа в тесте, вероятно, снизит их оценку.

Итак, подведем итог: когда мы сомневаемся в чем-то, нам лучше не доверять своим инстинктам. В конце концов, наши первые догадки — это всего лишь догадки. Если у нас есть серьезное основание полагать, что мы неправы, мы должны обратиться к своей голове, а не к сердцу, и подумать еще раз.