Лаак Я. тер Л01 Психодиагностика: проблемы содержания и методов

Качество психодиагностики и использование тестов: оценка, критика и альтернативы

При определении качества диагностики следует учиты­вать выделяемые нами три ее уровня и четыре компонента. Качество зависит, помимо других причин, от соответствия требованиям этих компонентов и от попыток организовать три уровня, вопреки их фактической «нестыковке». Итак, существует необходимость в обсуждении качества теории тестов (классической и современной), теории различий между индивидами с точки зрения их предельных возмож­ностей и типичного уровня функционирования, теории сре-довых условий и теории развития, в обсуждении адекватности методик и процедур, особенно тестов, и, на­конец, адекватности диагностического процесса. Другими словами, анализ качества требует обсуждения существен­ной части как содержания, так и методов психодиагности­ки. Это, конечно, большая задача, но в известной степени ее невозможно избежать, поскольку согласно нашему опре­делению психодиагностика не имеет собственного матери­ала и собственного, только ей «принадлежащего», объекта и должна, таким образом, заимствовать их у психологии и, в частности, у ее методов. До сих пор качество психодиаг­ностики определяется главным образом на основе одного ее компонента, наиболее очевидного и конкретного,— тестов и опросников. Жаль,что сейчас отсутствует интерес к каче­ству других компонентов.

В ряде стран тесты документально оформляются и оце­ниваются. Например, в США «Ежегодник измерения умст­венных способностей» Буроса дает информацию обо всех опубликованных тестах и опросниках, для которых разра­ботан метод получения объективных показателей. С их по­мощью оцениваются межиндивидуальные различия, и уже имеются исследования их надежности и валидности.

Сколько существуют тесты и опросники, столько их и критикуют. Первая линия критики, не сходящая с повестки дня, связана с вопросом о том, отражают ли в достаточной

мере тесты, задания и задачи психологические процессы. Тесты часто конструировались в ответ на практические за­просы общества или некоторых влиятельных общественных институтов. Практические средства диагностики служили вполне определенной цели — достичь значимой предсказа­тельной валидности, но они не предлагали никакого суще­ственного продвижения в понимании психологических процессов. Конструктная валидность намечала новые пер­спективы, но терстоуновская разработка простой структу­ры не была удовлетворительной. Поиски привели к подходу, изучающему процессы переработки информации (см. гл.4). Второе, за что критикуют существующие мето­дики, связано с использованием тестов. Часто тесты исполь-зуются для принятия решений, имеющих для людей огромное значение. Объективны ли, справедливы ли такие решения в отношении любого человека и любой группы? Особое внимание вызывает в этом отношении тестирование групп меньшинств.

8.1. Качество компонентов психодиагностики

Центральное место при обсуждении качества психодиаг­ностики занимает первый компонент. Тесты и опросники являются конкретными продуктами диагностики. Разрабо­тана система для оценки тестов и опросников, затрагиваю­щая и два других компонента. Во-первых, особое значение придается надежности и валидности. Это относится в боль­шинстве случаев к классической концепции надежности и дихотомии прогностической и конструктной валидно­сти.Обычно эти вопросы обсуждаются как относящиеся к надежности. Современная теория тестов пока играет скром­ную роль. В последнем по времени издании «Стандартов» психологических тестов (1987) современная теория тестов едва ли играет хоть какую-либо роль. Можно ожидать, од­нако, что новые «Стандарты» будут включать требования, исходящие из современной теории тестов. В голландской версии «Стандартов» (1989) современная теория тестов рас­сматривается как набор моделей измерения, описывающих ответы на задания.

Теория преимущественно занимается той частью, кото­рая связана с конструктной валидностью и анализирует


316

317

дает не одномерные результаты, расходясь с исходной вер­сией? Можно ли тогда делать заключение о том, что тест не имеет конструктной валидности?

Во-вторых, при обсуждении тестов и опросников прини­мают в расчет теоретические источники конструкта, осо­бенности его использования, описание, категоризацию, прогностические возможности. Теоретические источники в большинстве случаев сводятся к психометрическим теори­ям о межиндивидуальных различиях в случае предельно возможного, а также типичного функционирования. Тео­рии, описывающие различия средовых условий, и теории развития едва ли играют существенную роль. Вопрос о ка­честве диагностического процесса прямо не рассматривает­ся, т.е. в оценке теста вопросы относительно качества процесса диагностики не учитываются. Однако из седьмой главы ясно, что процесс считается отвечающим научным требованиям, если он строится в соответствии с правилами проверки гипотезы.

В данном разделе показано, что качество диагностики должно соответствовать характеристикам описанных в этой книге компонентов и уровней, фактически до сих подчер­кивается только роль тестов. Разработана определенная си­стема оценки. Система основана главным образом на правилах классической теории тестов. Современная теория тестов играет весьма скромную роль в измерении макси­мальных возможностей индивида или типичного уровня функционирования. Исключение составляют тесты школь­ных достижений, по крайней мере, в Нидерландах.

8.2. Система оценки качества тестов и опросников

Тесты и опросники должны удовлетворять определен­ным требованиям. В пятидесятые годы была опубликована первая книга Американской психологической ассоциации, содержавшая Стандарты для тестирования в образовании и психологии (1954). В 1950 Гулликсен опубликовал книгу по теории тестов. В результате переработки классической теории тестов он сформулировал повышенные требования к «хорошим» тестовым методам. Последняя ревизия «Стан-

319

«Стандарты» в ревизии 1985 г. содержали классические разделы надежности, измерения погрешностей (в классиче­ской теоретической ориентации), нормы, шкалы и требова­ния к руководству по проведению тестов. Обновление по отношению к предшествующему опыту выразилось в диф­ференциации части «Стандартов» для различных практи­ческих сфер деятельности. Профессиональные сферы деятельности оказались настолько отличными друг от дру­га, что стало правомерным введение разных «Стандартов». Возможно также, что руководили этим разделением сами представители профессиональных сфер. «Стандарты» с не­большими различиями были приведены для клинической, педагогической психологии и психологии управления.

«Стандарты» 1974 г. использовались в Нидерландах для разработки системы оценки тестов и опросников. Эти стан­дарты были переведены на язык характеристик теста, на­личие или отсутствие которых можно было оценивать. Имелось пять категорий, каждая из которых включала оп­ределенный круг вопросов. Качество ответа на каждый воп­рос могло быть хорошим, удовлетворительным и неудовлетворительным. Анализ системы по категориям по­зволил каждую из них квалифицировать как хорошую, удовлетворительную и неудовлетворительную. Вот эти ка­тегории:

1. Цели конструирования теста.Данная категория охваты­вает вопросы, связанные с применением теста, теорети­ческими источниками конструкта и релевантностью со­держания теста. Эта категория должна включать положение об основном предназначении теста.

2. Структура теста, качество его материалов и руководства.
Данная категория связана с системой подсчета, эффек­
тивностью теста и его материалов (брошюра к тесту, клю­
чи, время тестирования), со стандартизацией, четкостью
инструкции и интерпретацией результатов.

3. Нормы. Эта категория связана с качеством норм. Пред­

4. 
   Надежность. Эта категория требует наличия результатов исследования с помощью параллельных тестов (Гуллик-сеновское определение надежности), внутренней согласо­ванности, тест-ретестовой надежности, сравнения экс­пертных оценок. Подчеркивается чувствительность коэффициентов к разнообразию выборок.
   
5. 
   Валидность. Эта категория ориентирована на корреляции показателей теста и конструктную валидность. В отноше­нии последней допускается, что конструкт является эле­ментом номологической сетки, так что его внешняя и внутренняя структура эксплицируемы и, следовательно, поддаются эмпирической проверке.
   

В следующем разделе в качестве примера использования такой системы приводится разработка новой голландской версии WISC-R (Векслеровской шкалы интеллекта для детей).

8.2.1. Оценка качества WISC-R Ниже приводится оценка WISC-R по пяти приведенным выше категориям. Этот тест используется часто. В 1981 г.в Нидерландах группа голландских и фламандских психоло­гов приступила к новой адаптации теста. Руководство к


320

I ] Я. тер Лаак

321

нему было опубликовано в 1986/1991 гг. Оценка тестов обсуждается в голландском руководстве — «Документация по тестам и исследованиям тестов» (Evers, Van Vliet-Mulder, Ter Laak, 1992). Адаптация WISC-R обеспокоила практических психологов отчасти более высокими норма­ми. Новые показатели привели к распределению детей по школам разного уровня сложности обучения.

Оценки, приведенные ниже, согласуются с оценками «Документации» (1992). Результаты одинаковые. С по­мощью приводимых н иже примеров нам хотелось бы про­демонстрировать применение системы и высказать некоторые предложения по ее использованию.

Категория 1: теоретическая основа векслеровской шка­лы интеллекта для детей. Авторы руководства опирались на публикации Векслера, представляя теоретическое обосно­вание теста. И тест, и его направленность настолько хорошо известны, что нет необходимости описывать ни цели его использования, ни историю создания. Вдобавок тест разра­батывался для удовлетворения практической потребности в простом тесте, пригодном для широкого применения. Од­нако в 1955 г. Векслер высказал некоторые дополнительные соображения относительно применения теста.

Согласно его наблюдениям интеллект обнаруживает се­бя в нескольких различных формах поведения. В достиже-ниях по тестам интеллекта играют роль как интеллектуальные, так и неинтеллектуальные факторы (например, произвольный контроль и эмоциональная урав­новешенность). Векслер работал клиническим психологом в большом госпитале Белльвью в Нью-Йорке и был убеж­ден, что личностные характеристики (мотивация, эмоцио­нальность, любознательность, депрессивность и т.д.) влияют на показатель IQ.

Он предпочел не ограничивать измерение интеллекта одним его важным аспектом, например, абстрактным мыш­лением. По мнению Векслера, интеллект предполагает на­личие нескольких различных факторов, находящихся в иерархических отношениях. Интеллект рассматривается как способность наиболее высокого порядка. Интеллект проявляется в целенаправленном действии. По словам Век­слера, в операциональном плане интеллект определяется

как совокупная или глобальная способность индивида це­ленаправленно действовать, мыслить рационально и справ­ляться с проблемами в собственном окружении. Исходя из этого, Векслер отбирал задачи, которые коррелируют с про­явлениями интеллекта, например, со школьными достиже­ниями и профессиональным образованием.Он задался вопросом, какие интеллектуальные и неинтеллектуальные виды способностей приводят к этим достижениям. Задачи должны быть разными, привлекать легкостью подсчета от­ветов и надежностью оценки. Были добавлены «хорошие» (правильные) ответы, и полученные показатели позволили создать картину сильных и слабых сторон личности. Самое первое (по времени возникновения) разделение общего по­казателя IQ касалось показателя вербального интеллекта и показателя «интеллекта действия» (невербального интел­лекта). Их корреляция составляла около 0,70. Конечно, независимых ортогональных факторов не существует и их невозможно интерпретировать как таковые. Второй часто используемой классификацией являются факторы, предло­женные Кауфманом: вербальные способности, перцептив­ная организация, сосредоточенность и общий интеллект (см. Kaufman, 1976). В пятой главе мы останавливались на недостатках интерпретации профилей. В данной голланд­ской версии WISC—R на первой странице нет результатов субтестов, на основе которых строится графический проф­иль. Это сделано для предотвращения интерпретации силь­ных и слабых сторон интеллекта. Субтесты не обладают факторной валидностью /см.гл.5/.

У Векслера интеллект толкуется как глобальная способ­ность.Общий показатель признается хорошим индикато­ром интеллекта. По этому показателю можно предсказать адаптацию в ограниченном, но важном круге ситуаций — школьном и профессиональном образовании, на работе. Со­ставление профиля не поощряется, но и не возбраняется.

Разработка теоретической основы теста включает три вопроса. Четко определен вопрос о назначении теста. Тест используется для прогноза, и конструкт его более или менее разработан. Однако он включен в номологическую сеть не настолько четко, чтобы можно было эту сеть валидизиро-ватъ. Подтверждена релевантность содержания теста. По-

323

Категория 2: качество материалов и руководства. В упо­мянутых ревизиях тестов были тщательно проверены все задания. Система подсчета отличается достаточной ясно­стью. Стимульные материалы хорошие.Таблицы норм для голландской и фламандской выборок являются общими. Проведение теста занимает значительное время.Несмотря на справедливость некоторой критики, категория должна быть квалифицирована как соответствующая оценке хоро­шо.

Категория 3: нормы. Нормы получены на выборке от 6 до 16 лет с возрастным интервалом в один год.Выборка репре­зентативна.В каждую возрастную группу входит около ста семидесяти мальчиков и девочек.Имеются нормы для обще­го показателя IQ и отдельно для показателей вербального интеллекта и невербального интеллекта. Данные собраны в 1981 г. Ответы по девяти вопросам этой категории приво­дят в результате к оценке теста хорошо.

Категория 4: надежность. Внутренняя согласованность определялась с помощью различных методов. В большинст­ве случаев использовался коэффициент альфа Кронбаха. Вдобавок использовалась (2 (лямбда). Все коэффициенты высокие. Один субтест является тестом на скорость, для него вычислен коэффициент ретестовой надежности. Ни одно из значений не опускается ниже 0,85. Результаты оценки внутренней согласованности хорошие.Поражает, что почти ни одно руководство к тесту не дает необходимых показателей. Наннелли и Бернштейн (1994, стр. 264—265) являются исключением, и они сформулировали следующее эмпирическое правило. При коэффициенте 0,70 надеж­ность признается умеренной, для исследований требуется коэффициент надежности 0,80, а для целей отбора едва достаточным минимумом надежности считается 0,90. По­разительно, что в характеристиках теста отсутствуют ко­эффициенты стабильности. Хотя можно понять, что повторный сбор данных — большая работа, необходимо

иметь соответствующие коэффициенты ретестовой надеж­ности. Выводы здесь опираются на семь вопросов, и суще­ствует компромисс между хорошей внутренней согласованностью и недостаточной стабильностью, поэто­му оценку теста по этой категории можно определить как «удовлетворительную».

Категория 5: валидность. Названные ревизии теста сде­лали упор на конструктной валидности. Векслер не разра­ботал номологическую сеть полностью, но с течением времени при анализе заданий интеллектуальных тестов на­капливался соответствующий опыт. В редакциях теста ис­пользовались разные факторно-аналитические модели. Результаты анализа немного отличались, и авторы реко­мендовали факторы Кауфмана. Это представляется разум­ным, потому что многие практики используют эти факторы.

Конструктная валидность проанализирована в соответ­ствии с принятыми правилами. Отсутствуют коэффициен­ты прогностической валидности. Имеются корреляции с другими интеллектуальными тестами. Эти коэффициенты приведены в новом разделе по валидности, но могут рас­сматриваться как данные по конструктной валидности. Как незначимые приводятся корреляции теста с чтением и арифметикой на первой и второй ступенях обучения. Ква­лификация теста по сумме тринадцати вопросов может быть только неудовлетворительной, поскольку первоначально тест использовался как прогностический. Требуется немно­го времени, чтобы получить соответствующие коэффици­енты прогностической валидности. Тогда может быть дана другая квалификация.

Как упоминалось выше относительно коэффициентов надежности, в нескольких (немногочисленных) руководст­вах используются эмпирические правила ранжирования коэффициента прогностической корреляции. Можно было бы остановиться на том, что целью является достижение значимых корреляций. Однако у исследователя обычно бо­лее высокие запросы. Он стремится объяснить большую часть дисперсии. Что это такое — «большая» часть? На­ннелли и Бернштейн (1994, стр. 99—100) замечают, что эмпирически найденные корреляции редко бывают выше, чем 0,30—0,40. В какой-то степени это разочаровывает, но

325

Этот раздел посвящен системе оценки тестов. Категории и пункты такой оценки соответствуют «Стандартам» 1974 г. Данная система привлекалась для работы с голландским вариантом WISC-R. Результаты применения этой системы согласуются с оценкой теста по голландской системе «До­кументации тестов и исследований тестов» (Evers, et al.1992, 539—562).

8.3. Качество диагностики: совершенствование «Стандартов»

Не существует окончательного заключения о качестве психодиагностических средств. За последней по времени редакцией «Стандартов» (1985) вскоре последует шестая редакция. Чтобы дать представление о «Стандартах», ниже приводятся некоторые примеры, заимствованные из гол­ландской редакции американской версии (1985).

Для раздела «Валидность» существует 26 стандартов. Например, правило 1.12: Все критерии измерения и осно­вания выбора этих критериев должны быть описаны деталь­но, тщательно. Надежность и погрешности измерения содержат двенадцать стандартов. Например, правило 2.10: Коэффициенты надежности могут быть различными для разных популяций. Тест должен иметь коэффициенты на­дежности применительно к каждой популяции, для которой он рекомендован.

В разделе «Усовершенствование теста» приводятся 23 стандарта. Например /3.23/: Когда при подсчете результа­тов по тесту играют роль субъективные оценки диагноста, должна быть полностью описана основа системы оценива­ния, а также тренировка, которая необходима для достиже­ния достаточной степени согласованности разных мнений.

«Шкалирование, нормы, и сравнение тестовых показате­лей» включает семь стандартов. Например/4.5/: Если мож­но ожидать,что тест будет использоваться для интерпретации результатов групп, а не отдельных лиц, то

и нормы должны быть соответствующими, основанными на групповых данных.

Категория «Руководство» содержит одиннадцать стан­дартов^ 5.7 заключается в следующем: «Рекламный мате­риал для теста должен содержать правдивую и валидную информацию. Издателям тестов следует избегать преуве­личения возможностей теста.» За «Стандартами» 1985 г. скоро последуют новые, в которых, возможно, найдут свое место открытия и достижения современной теории тестов. Хамблтон (редактор обзорных комментариев издания 1985 г.) — сделал несколько критических замечаний, например, о количестве правил и уместности некоторых стандартов, отсутствии стандартов,соответствующих современной тео­рии тестов, о разделении стандартов на уровни (существен­ный, первоначальный, высоко желательный, отвечающий стандарту, второстепенный) и много других, указывающих на невалидность шкалы суждений, несколько замечаний по тестам достижений, высказал предостережение против не­брежного применения «Стандартов», а также невозможно­сти удовлетворить все требования категорий надежности и валидности, упомянул об избытке профессиональной лек­сики. Эти комментарии могут помочь создателям шестой редакции «Стандартов».

В этом разделе показано совершенствование «Стандар­тов» для тестов. Это логическое следствие разработки ком­понентов и уровней диагностики. Критика последней (1985) редакции «Стандартов для психологических и обра­зовательных тестов» вскоре будет учтена новым, шестым, изданием «Стандартов».

8.4. Критика: сопоставление тестов

с содержанием психических процессов

в реальном контексте

Тесты и опросники направлены на измерение «продук­тов», а не процессов. Это мнение о тестах интеллекта по­служило Пиаже поводом для отказа от предложения адаптировать шкалу Бине-Симона для Швейцарии. С того времени это критическое замечание повторяется в той или иной форме. Сегодня можно видеть два варианта этой ли­нии критики и два типа ответов на нее.

327

1. 
   В ответ на упрек в пренебрежении процессами их пыта­ются исследовать в рамках эмпирически-аналитической методологии. Примером может служить исследование ин­формационных процессов. Некоторые их примеры приво­дились в четвертой главе.
   
2. 
   Другая критическая точка зрения отвергает эмпириче­ски-аналитический подход, считая его невалидным для получения информации о реальных процессах. С таких позиций высказывает критику Инглби (1994). Он отвер­гает претензии на объективность информации о человеке, если она получена с помощью тестовых показателей. Че­ловек рассматривается как существо, неразрывно связан­ное с окружающей средой. Инглби называет тестовые по­казатели «обманчивыми и ограниченными, поскольку не существует объективного или независящего от от теоре­тических положений наблюдения и каждый индивид "впаян" в социальный контекст» (стр. 117). Психология тестов основывается на «вере» и существует как «наука» в силу того, что «имеет общественный статус и власть». Эти замечания носят преувеличенный характер и рас­сматривают работу диагноста как бессодержательную. Положение сводится к тому (на языке теории тестов," не приемлемой для Инглби), что существует столько досто­верных показателей индивида, сколько существует кон­текстов, в которых ему случается проявлять себя" Непра­вильно искать у индивида один истинный показатель, который может быть оценен количественно.
   

Инглби высказал три фундаментальных положения, за­ставляющих сомневаться в результатах теста. Во-первых, результаты отражают субъективное мнение испытуемого о

ситуации тестирования. Если представление испытуемого отличается от замысла тестирующего, результат может быть невалидным. В таком случае тестирующий будет ста­раться прояснить испытуемому цель тестирования. Вдоба­вок, если это случается с тестом или батареей тестов регулярно, данная процедура будет приводить к невалид­ным результатам, в том числе отсутствию прогностической и конструктной валидности. Психолог, занимающийся те­стами, признает, что число как продукт теста является ре­зультатом многих процессов, некоторые из которых ему известны, а многие нет. Более того, он умышленно заклю­чает некоторые факторы в скобки. Избежать этой процеду­ры ученый, ограниченный рамками существования «здесь» и «теперь» (кантовские синтетические априорные сужде­ния) , не может. Вопрос в том, как далеко заходит это огра­ничение, насколько значима такая редукция, поскольку важно не потерять целое. В-третьих, поведение — это те или иные проявления индивида в естественной ситуации. Число баллов не может служить показателем «внутренней» способности индивида, что не будет отрицать ни один диаг­ност.

Приведенные выше аргументы подчеркивают чувстви­тельность показателей теста к влиянию различных факто­ров. Стандартизация теста означает, что среда берется как более или менее одинаковая для всех индивидов. Различия, выявленные в условиях стандартизации, рассматривались как выражение реальных индивидуальных различий. Итак, влияние условий не отрицается, но оно вынесено за скобки. Можно, конечно, попытаться сделать темой эмпирического изучения контекст и его различия. Но и при таком типе изучения тесты необходимы для демонстрации влияния контекста.

Если есть заинтересованность в изучении воздействия контекста на поведение, следует разрабатывать процедуры, которые расширяют возможности выявления влияний кон­текста. Ингбли утверждает, что эти процедуры в то же время более адекватно покажут психологические процессы. Процедуры характеризуются изучением с помощью наблю­дения экологической ниши индивида — плотным наблюде­нием и отсутствием спешки в теоретическом обосновании.


328

329

Однако вероятность того, что такие новые и в то же время старые процедуры превзойдут классические стандартные тесты и опросники, не велика. Тесты и опросники, хотя и ограничены, но представляют собой достаточно эффектив­ные средства получения информации о характерных каче­ствах индивида. Два подхода к достижению качественного содержания -ориентированный на исследование и на при­менение тестов — не противоречат друг другу. Качествен­ный подход выступает дополнением классических методов.

Выделение специфического контекста как существенно­го для психодиагностики параметра, возможно, составит в ней новое направление. Некоторые авторы убеждены, что психодиагностика должна охватывать также анализ бли­жайшего окружения. Конкретная проблема клиента и дол­жна определять диагностическую деятельность. Теории же в силу своей сжатости могут иногда «не замечать» сложно­сти проблемы.

Это направление обещает более полно учитывать все стороны проблемы. Реальный мир не будет выноситься за скобки, а будет включен в диагностический процесс. У представителей этого направления обширные замыслы, но они остаются довольно абстрактными. Примером этого под­хода является критика классического тестирования студен­тов. Виггинс (1993) отвергает все направления тестирования способностей в учебных заведениях, потому что наиболее интересные стороны этих способностей уча­щихся не могут быть стандартизованы. Реальное знание — это знание не фактов, а того, как их осмыслили студенты. Виггинс считает, что мы имеем те тесты, которых заслужи­ваем, но это не освобождает учителей от обязанности счи­тать процесс обучения центральным в их деятельности. Тесты всегда представляют собой некоторый компромисс: они упрощены и вынесены за рамки жизненного контекста, потому что должны быть объективными и простыми в под-

счете. Измерение определяется однократным срезом, в то время как общей практикой должна стать лонгитюдная оценка. Многие пользователи тестов склонны к позициии «фатализма», согласно Виггинсу (стр.5), поскольку ре­зультаты выглядят стабильными и неизменными. Оценка должна служить только одной цели — совершенствованию достижений учащихся. Взаимооотношения между оценива­ющим и учеником имеют нравственный аспект и, следова­тельно, требуют уважения друг к другу. Это взаимодействие характеризуется своевременностью, точ­ностью и значимостью «обратной связи», широкими воз­можностями обучения в благоприятном окружении тактичными учителями. Виггинс завершает изложение сво­их взглядов предложением «Манифеста» о правах студен­тов, называя его «Биллем о правах» (стр. 28). Пламенные аргументы во имя усовершенствования чего бы то ни было в этом мире часто заканчиваются такого рода предложени­ями. Моисею понадобилось всего десять заповедей (указа­ний, как действовать и думать), что лишь на три больше магического числа «семь», характеризующего нашу па­мять. Лютер усложнил дело его последователей, пригвоздив более чем сто положений к двери дворцового монастыря в Виттенбурге. У Виггинса «Права студента» излагают требо­вания минимального утаивания содержания тестов, боль­шего изучения реальных проблем, раскрытия критериев, на основе которых делается вывод, реальной «обратной связи», атмосферы обсуждения и открытости, а также использова­ния таких тестов, в которых студенты могли бы обосновы­вать свои ответы.

Выступления, подобные декларации Виггинса (1993), вдохновляют. Они помогают сохранить критичность по от­ношению к смыслу и назначению тестов, оправдывают оп­ределенное нежелание применять известные теории и тесты, т.к. выступают против любого рода предрешенности. Они требуют перенести центр тяжести с учительской и ди­агностической деятельности на диалог с учащимся (клиен­том).

В этом разделе показано, что тесты как способ получения знаний о психических процессах подвергаются критике. При существующем нежелании использовать теории, навя-


330

331

8.5. Другие возражения против тестов

Тесты спорны. Поэтому возможно, что диагносту при­дется появляться в суде, ведь он пользуется для описания человека такими ярлыками-определениями, как напри­мер, «легкая умственная отсталость», основанная на пока­зателях коэффициента интеллекта в тестах. Школьные тесты способностей к обучению используются для зачисле­ния в школу. Если у определенных групп оценка ниже, они не имеют равных с другими прав при поступлении в школу. Для разрешения проблемы используется квота. Важность квоты не всегда понимается, особенно группами с относи­тельно высокими показателями. Тестовые показатели иногда обнаруживают различия, которые существуют меж­ду группами в обществе. Эти индикаторы подчас подверга­ются нападкам. Итак, определенные тесты могут быть запрещены. Таким образом, возражения направлены про­тив ярлыков и стереотипов, к которым приводят тесты, и против предпочтительного положения определенных этни­ческих групп. Тесты дают несовершенную, хотя и валид­ную картину индивидуальных различий, но не выявляют их причины. Эти оправдания не всегда принимаются, пото­му что возникает впечатление, что тесты сами создают раз­личия или, по крайней мере, так сконструированы, что легко приводят к различиям между этническими группами.

Второе возражение: диагносты могут сообщить инфор­мацию о клиенте другим лицам. Данные тестирования так или иначе носят частный характер и принадлежат клиенту. Тестирование может быть проведено на основании догово­ренности, что информация, которая дается третьему лицу, ограждается тем, что последнее слово для разрешения в ознакомлении остается за клиентом. Отказ в разрешении не должен иметь пагубные последствия.

Третье возражение связано с тем, что тесты несправед­ливы по отношению к определенным группам, например, женщинам. Эта несправедливость может быть связана и с содержанием заданий. В тестах многие задания отобраны так, что они более соответствуют особенностям мужчин, а не женщин. Это, конечно, несправедливо. Различия высту­пают не как следствие индивидуальных возможностей, на­пример, в технических навыках, а вызываются типом заданий. Необходимо исследование, чтобы определить, не задания ли обусловливают различия, и, если это так, их следует заменить. Несправедливость может также быть связана с различиями в линиях регрессии групп. Эти раз­личия называют дифференциальным прогнозом. Конкрет­но он означает, что при отсечении некоторого показателя члены одной группы получают более высокий результат по тесту, чем члены других групп, в то время как их достиже­ния по критерию находятся на том же уровне. Различитель­ный прогноз сначала должен быть показан. Имеет ли место этот феномен? Во-вторых, существуют выходы из этой си­туации, например, путем создания регрессионных линий для отдельных групп.

Этические правила профессиональных организаций включают процедуры, позволяющие на практике предотв­ратить необъективность. Некоторые правила, например, сводятся к тому, чтобы не злоупотреблять превосходством или позицией более информированного человека, избегать дискриминации, хранить тайну, не допускать к документа­ции людей, не имеющих на то прав, предотвращать взаи­моотношения, которые способны разрушить профессиональные отношения диагноста и клиента, пробу­дить у клиента нереалистические ожидания, всегда гаран­тировать клиенту право прекратить отношения или внести в них изменения, если на то появились причины.

Жалоба на необъективное тестирование подлежит обя­зательному рассмотрению. Иногда разрешить конфликт по­могают существующие этические правила, иногда необходимо эмпирическое исследование, чтобы подтвер­дить существующий дифференциальный прогноз.

В этом разделе показано, что против тестов и их исполь­зования имеются возражения. Для предотвращения зло-

333

8.6. Неправильное применение тестов

Тесты используются во многих странах мира. Их множе­ство. В Нидерландах, например, существует документация о тестах и их использовании, которая содержит описание и обсуждение 376 тестов. Тесты не подлежат использованию, если они не применялись более восьми лет. В США публи­куется «Ежегодник измерения умственных способностей». Не все тесты используются одинаково часто. Общие тесты интеллекта (WA1S, WISC), Тест дифференциальных спо­собностей (DAT), Общая батарея способностей (GAT-B) и Школьный тест достижений (SAT) чаще других применя­ются для измерения предельных возможностей. Личност­ные опросники (MMPI, JPI) — самые используемые тесты для диагностики в диапазоне обычного функционирования. Продолжают применяться проективные методики. Частота их использования не уменьшается, несмотря на критику. В Нидерландах постоянно печатаются обсуждения тестов, но все это лишь в незначительной степени влияет на примене­ние тестов (Evers & Zaal, 1979, 1982).

Мореланд, Айд, Робертсон, Примоффи Мост (1995) объ­единили тесты в кластеры. Они различают следующие типы тестов: образовательные тесты, тесты способностей и пред­почтений, тесты определения трудностей в обучении: ней-ропсихологичесиё тесты, индивидуальные тесты интеллекта, тесты готовности, объективные личностные те­сты и проективные методики. С помощью метода критиче­ских совпадений они попытались выяснить, какие факторы влияли на ошибки в интерпретации и использовании тес­тов. Недостатки были эмпирически упорядочены с по­мощью факторного анализа. Всесторонняя оценка (10%) предполагает специфические умения представлять данные клинических наблюдений должным образом, умение ви­деть при применении теста возникающие гипотезы, просле­живать психосоциальную историю развития пациента с учетом возрастных норм. Должное применение теста (8%)

включает специальные умения: удержаться от помощи в достижении хорошей оценки тем людям, которым благово­лишь, согласиться с обязательствами во имя компетентного применения тестов, пройти через соответствующую трени­ровку для качественного контроля, превосходящего дейст­вия всех пользователей тестов и их результатов. Психометрическое знание (6%) связано с рассмотрением стандартной погрешности измерения и ошибок в тестовых подсчетах. Достижение целостности результатов теста (6%) предполагает специфическую компетентность: про­ницательность при определении некачественных эквива­лентов и процентильных рангов, позволяющих дать определенную оценку отдельным ситуациям, в отсечении сомнительных показателей благодаря пренебрегаемой стандартной погрешности измерения. Точность счета — следующий фактор (4%), который говорит сам за себя; аккуратность в подсчете, избегание ошибок и усиленная проверка. Очевидным является и применение норм соответ­ствующим образом (4%). И, наконец, была выделена об­ратная связь (4%), что означает готовность дать интерпретацию результатов и рекомендации в ситуации консультирования.

Вдобавок имеется двенадцать минимально необходимых условий должного обращения с тестами: аккуратность в подсчете и протоколировании (пользователь тестов помимо всего еще и клерк), недопустимость ярлыков и других уни­зительных определений, сохранность тестовых материалов и ключей к ним, тестирование в благоприятных условиях, умение удержаться от предварительной подготовки отдель­ных лиц к тестовым заданиям, несообщение пользователям тестов большего, чем позволяет руководство.

Существуют попытки поделить тесты на группы, кото­рыми могут пользоваться люди с разным уровнем подготов­ки. В Нидерландах индивидуальные тесты — сфера компетенции квалифицированных психологов. Професси­ональными тестами и тестами интеллекта могут пользо­ваться профессиональные консультанты. Тест достижений в учебе может применяться учителями.

В этом разделе качество тестов рассматривалось с пози­ции применения тестов. Неудачи в применении тестов и интерпретаций результатов также влияют на качество ди-

335

1. 
   Качество диагностики зависит от качества использу­емых тестов и опросников, оно также определяется качест­вом тестов и теоретических представлений о соответствующем психологическом конструкте. Современ­ная теория тестов применяется еще достаточно редко, что­бы влиять на качество диагностики. Важно, что в основу теоретических моделей современных тестов заложены оп­ределенные требования к качеству тестов. Недостаточно заниматься только критикой тестов. Преодоление такой тенденции — задача для следующей редакции «Стандар­тов».
   
2. 
   Тесты критикуют столько, сколько они существуют. Критика направлена на недостаточность получаемой ин­формации о психологических процессах и на недостаточ­ную объективность тестов в применении к разным группам общества.
   
3. 
   Вывод о качестве тестов основан на оценке теоретиче­ских оснований психологических концепций, качестве ма­териалов и руководства, нормах, надежности и валидности.
   

4. 
   Тесты могут оцениваться по пяти категориям (см. тезис 3). Результат, который отстаивают авторы Голланд­ской редакции WISC-R,— достаточная надежность этой версии теста, но недостаточная валидность.
   
5. 
   Отказ авторов голландской версии WISC-R от указа­ния профиля по показателям субтестов на первой же стра­нице регистрационного листа правилен, т.к. интерпретация «сильных» и «слабых» сторон интеллекта не всегда подтвер­ждается.
   
6. 
   Каких-либо эмпирически устанавливаемых рамок для величины коэффициентов надежности и валидности прак­тически не существует. Работа Наннелли и Бернштейна (1994) — исключение.
   
7. 
   Коэффициент валидности считается достаточным, ес­ли он превышает величину погрешностей. Однако лучше, если он будет отвечать требованию уровней значимости.
   

8. 
   Оценка качества диагностики носит предварительный характер.
   
9. 
   Тесты могут рассматриваться как элемент эмпирико-аналитического подхода в психологии. Критика этого под­хода подразумевает и критику тестов. В качестве альтернативного эмпирико-аналитическому направлению предлагается непредвзятый, свободный от связи с какой-либо теорией подход. Этот подход вызывает в памяти старое изречение представителей феноменологии: «То, что являет себя так, как оно являет, само позволяет себя являть». Кри­тика достигает цели, если она подкрепляется эмпирически­ми исследованиями.
   

10. 
    Не разработаны тесты для анализа различного рода влияний со стороны контекста. Стандартизация означает, что устанавливается относительно стабильный фиксиро­ванный контекст или же он выносится за скобки.
    
11. 
    Классические тесты не отойдут в прошлое только под влиянием критики социальных конструктивистов и контек-стуалистов. Упреки последних в том, что тесты редуцируют действительное положение, справедливы. Однако при этом не следует забывать, что наука не может обойтись без не­которой редукции, по крайней мере, там, где это касается людей.
    
12. 
    Тесты могут приводить к искаженным результатам как по причине неудачного содержания тестовых заданий, так и в связи с дифференциальным прогнозом. Необходимо эмпирическое исследование причин недостаточной объек­тивности, пристрастности тестов.
    
13. 
    Диагностику можно свести к своего рода «бухгалте­рии души». Но точно так же можно увидеть связь диагно­стики с центральными психологическими проблемами и вопросами человеческого поведения. Если эта книга не убе­дила в последнем, она не достигла своей цели.
    

337

Тесная взаимосвязь диагностики с психологией посред­ством ряда теорий, методов я эмпирических знаний пока­зывает, что область психодиагностики весьма велика. В пределах столь большого пространства возможен акцент на значении различных компонентов. В этом послесловии опи­саны некоторые перспективы, открывающиеся при таком подходе к тестированию и диагностике. Угол зрения на будущее психодиагностики в этой книге задается выделе­нием в ней разных уровней и компонентов. Психологиче­ское исследование может иметь разные акценты, причем в разных разделах психологии акценты не совпадают.

Разделы статистики акцентируют значение психомет­рии и особенно современной теории тестов как единствен­ного основания диагностики. В разделах психологии личности, психологии развития и клинической психологии будет найдено согласие относительно важности хороших методик и процедур оценивания индивидов и их развития. Такая ориентация на тесты, методики, подсчет и интерпре­тацию результатов тестирования подразумевает необходи­мость более глубокой разработки основных психологических конструктов. Специалисты по общей и экспериментальной психологии и, возможно, также соци­альные психологи проявят интерес к деятельности психо­диагноста по переработке и интеграции информации. Специалисту по теории решений нравится развивать моде­ли описания диагностических процессов и рекомендовать нормативные модели для совершенствования диагностики. Выделение различных разделов полезно для диагностики. Жаль, что им обучают раздельно, а иногда представляют даже в виде конкурирующих подходов.

С течением времени внимание к той или иной сфере психодиагностики меняется. С 1960 г. оно было сосредото­чено на классической теории тестов и на развитии объек­тивных тестов. Современная тенденция в обучении диагностике отличается особым вниманием к диагностиче­скому процессу. Предполагается, что этот процесс дает ча­стичную гарантию научного объяснения диагностической деятельности. Современная теория тестов играет скромную роль в практической сфере.

338

Из покомпонентного описания диагностики четко следу­ет, что должен знать изучающий ее ученый или студент. Психодиагностика имеет дело с самыми разнообразными вопросами, поэтому и диагност должен в них разбираться. Подобно практикам вообще, он «должен знать все»: теорию тестов, характеристики качества тестов, виды тестов, пси­хологические теории и концепции; применение, подсчет и интерпретацию результатов тестов, интеграцию диагно­стической информации, знание слабых сторон человече­ских суждений, должен уметь донести результаты до клиентов и коллег.

• 
  существует разрыв между «передовыми» моделями ана­лиза ответов в заданиях (IRT) и большинством применя­емых тестов, основанных на классической теории тестов;
  
• 
  существует много привлекательных теорий и концепций, которые не привели к созданию методик, простых и лег­ких в применении;
  
• 
  технологические разработки не применяются диагноста­ми, хотя их использование повышает вероятность реше­ния многих проблем;
  
• 
  значительная часть психологических знаний не находит применения в практической диагностике; экспертных си­стем в диагностике очень мало;
  
• 
  существует разрыв между клиническим и статистическим прогнозом (см. гл. 4);
  
• 
  до сих пор применяются тесты, которые не соответствуют стандартным требованиям;
  
• 
  психодиагност часто вынужден начинать решать пробле­му с самого начала, даже если проблемы, с которыми он встречается, не уникальны; ему не хватает обратной свя­зи со стороны коллег и клиентов;
  

344

345

Cattell, R.B. (1947). Confirmation and clarification of primary personality factors. Psychometrika, 12, 197—220.

Cattell, R.B. (1956—1957). Sixteen Personality Factors Questionnaire. Urbana Campaign.

Cattell, R.B. (1965). The scientific analysis of personality. Harmondsworth: Penguin.

Cattell, R.B. (1990). Advances in Cattellian Personality Theory. In L.A. Pervin. Handbook of Personality, Theory and Research. New York: The Guilford Press.

Cattell, R.B. (1995). The fallacy of five factors in the personality sphere. The Psychologist, May, 207—208.

Cattell, J. McKeen (1890). Mental tests and measurements. Mind, 15,373—381.

Churchman, C.W. (1971). The Design of Inquiring Systems: Basic concepts of systems and organization. New York: Basic Books.

Colby, A. & Kohlberg, L. (1987). The Measurement of Moral judgement:Vol. 1 & 2. Cambridge Ma: Cambridge University Press.

Committee on Professional Standards and Committee on Psychological Tests and Assessment (1986). Guidelines for computer based tests and interpretations. Washington DC: American Psychological Association.

Cook, T.D. & Campbell, D.T. (1976). The Design and Conduct of Quasi-Experiments and true Experiments in Field settings. In M.D. Dunette (Ed.). Handbook of industrial and organizational Psychology. Chicago: Rand McNally College Publishing Co.

Cook, T.D. & Shadish, W.R. (1994). Social Experiments: Some developments over the past fifteen years. Annual Review of Psychology, 45, 545—580.

Constantinople, A. (1969). An Eriksonean measure of personality development in college students. Developmental Psychology, 1, 357—372.

Costa, P.T. jr. & McCrae, R.R. (1992). The five factor model of personality and its relevance to personality disorders. Journal of Personality Disorders, 6, 343—359.

Craik, K.H. (1973). Environmental Psychology. In P.H. Mussen & M.R. Rosenzweig (Eds.). Annual Review of Psychology, 20, 402—423. Palo Alto CA: Annual Reviews.

Crocker, L. & Algina, J. (1986). Introduction to classical and modern test theory. New York: Holt, Rinehart & Winston.

Cronbach, L. J. (1955). Processes affecting scores on «under-standing of others» and assumed similarity. Psvchological Bulletin, 52, 177—179.

Cronbach, L.J. (1957). The two disciplines of scientific psychology. American Psychologist, 12, 671—684.

Cronbach, L.J. (1975). Beyond the two disciplines of scientific psychology. American Psychologist, 30, 116—127.

Cronbach, L.J. (1988). Five perspectives on the validity argument. In H. Wainer & H.L. Braun. Testvalidity. Hillsdale NJ: Erlbaum.

Cronbach, L.J. & Furby, L. (1970). How should we measure «change», or should we? Psychological Bulletin, 74, 68—80.

Cronbach, L.J. & Meehl, P.E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52, 281—302.

Cronbach, L.J., Gleser, G.C. Nando, H. & Rajaratnam, N. (1972). The Dependability of Behavioral Measurements: Theory of Generalizabilily for Scores and Profiles. New York: J. Wiley & Sons, Inc.

Cronbach, L.J. & Snow, R.E. (1977). Aptitudes and Instructional Methods. New York: Wiley.

Cruts, A.A,N. (1991). Folk Developmental Psychology. An empirical Inquiry into Social Constructionism. Amsterdam: A Cruts.

Cruts, A.A.N. (1994). The influence of Folk Psychology on a Baby's Personality. In J. J. F ter Laak, A.I. Podol'skij & P.G. Heymans. Developmental Tasks, towards a cultural analysis of human development. Dordrecht: Kluwer Academic Publish­ers.

Dawes, R.M. (1970. The robust beauty of improper linear models in decision making. American Psychologist, 24, 571 —

582.

Dawes, R.M., Faust, D. & Meehl, P.E. (1993). Statistical Prediction versus Clinical Prediction: Improving what works. In G. Keren & C. Lewis. A handbook for data analysis in the

354

жүктеу/скачать 2.06 Mb.

Достарыңызбен бөлісу: