Лаак Я. тер Л01 Психодиагностика: проблемы содержания и методов

Валидность может быть рассмотрена как соответствие критерию когеренции. В этом случае какое-либо утверж­дение должно соответствовать не реальной действительно­сти, а другим утверждениям. В некоторой единой системе утверждения должны быть связаны между собой. Новое утверждение должно «подходить» ко всем остальным, не обнаруживая каких бы то ни было противоречий. В случае, если существуют какие-либо расхождения, возможно два варианта решений: либо новое утверждение должно быть отвергнуто, либо нужно отказаться от целой системы. Вто­рой вариант не менее вероятен, чем первый, поскольку вполне может быть так, что собранные воедино утвержде­ния не имеют отношения к действительности, а являются лишь «причудой» создателя теста. От такого положения дел в какой—то мере нас предохраняет то, что существуют не­которые общепризнанные представления об окружающей действительности, настолько очевидные, что нет необходи­мости их доказывать. Это так называемые «Protokollsatze»*, т.е. основополагающие утверждения, которые не противо­речат опыту. Логический позитивизм, играющий важную роль в психологии, имеет в своей основе несколько аксио­матических утверждений, напоминающих «Protokollsatze». Нейрат (1931) считал неверным сравнение высказываний с реальностью. Все знания принимают форму утверждений и последнее не должно противоречить другим утверждениям.

Критерий когеренции подвергается критике, и вопрос о нем вызывает споры. В каких именно случаях утверждение считается противоречивым? На этот вопрос обычно отвеча­ют формально. Такой ответ не подходит для утверждений.

* Protokollsatze (нем.) — протокольные выражения. Согласно теории Карнана, они описывают содержание непосредственного опыта или фе­номены, следовательно, простейшие познаваемые факты (прим. перев.).

где преобладает смысловое содержание. Психологи опери­руют смыслами, их конструкты не являются чисто фор­мальными; высказывания клиентов не понятны в формально логическом смысле. Другая линия критики ука­зывает на то, что возможна иная система связанных утвер­ждений, относящихся к той же области реальности.

Критерий когеренции важен для психодиагностики. При изучении описаний связанность отдельных высказываний о событиях, чувствах и поведении может быть критерием валидности этого описания или повествования. До сего вре­мени психодиагносты редко изучали повествования, пред­метом их рассмотрения являлись преимущественно анамнез, интервью и тестовые показатели. Наконец, тре­бование внутренней согласованности заданий теста может быть сопоставлено с критерием когеренции.

Рассмотрим практическое значение (полезность) или функциональность критерия валидности. В данном случае речь идет не о соответствии аспектам реальности и не о соответствии другим утверждениям. Здесь подразумевает­ся прежде всего то, что утверждения (содержащие в себе некоторую информацию) и идеи дают человеку возмож­ность с большим или меньшим успехом взаимодействовать с реальной действительностью. Для определенных целей критерии являются полезными и функциональными. В пси­ходиагностике существуют нормативные модели (модели решения и исследования), которые максимизируют опреде­ленный критерий. Цель должна быть достигнута с исполь­зованием минимальных усилий. В главе 7 будут приведены некоторые примеры. Это Модель полезности ожидаемых последствий (the multy-attribute utility theory).

Споры ведутся и по поводу этого критерия. Все ли то, что полезно, истинно? Одинаково ли полезно это понятие для каждого? Или же то, что подходит одному человеку, ничего не дает другому? Или вообще является нежелательным для другого человека?

Критерий межличностного соглашения.

Критерий интерсубъектного соглашения иногда опреде­ляется как консенсус (Habermas, 1973). Подход Хабермаса к пониманию этого критерия содержит ряд конструктивных

99

В психодиагностике интерсубъектность выполняет не­сколько функций, одна из которых соответствует функции надежности.

Понятие консенсуса играло значительную роль в разра­ботке пятифакторной модели личностных свойств Хофсти (1992, 1994). Выбор этих пяти факторов основан на согла­сии мнений репрезентативной выборки, которая оценивала достаточно полный список прилагательных, описывающих личностные характеристики. Эта пятерка — наименьшее число прилагательных, необходимых для описания лично­стных характеристик любого человека. Если кто-то скажет, что использует другие, не входящие в состав пятифактор­ной модели прилагательные, то в этом случае Хофсти может ответить, что то, что этот человек называет «храбрым», является в соответствии с итогами исследования-референ­дума «высокомерным» и «самоуверенным». Таким образом каждый человек может вступить в противоречие с установ­ленным другими консенсусом.

Подведем итоги. Очевидно, что различные концепции валидности (в эпистемологическом понимании) являются значимыми для психодиагностики. В психодиагностике и в психологии не существует одного, превалирующего типа валидности. Хотя логический позитивизм оказал большое

* «herrschaftfreie» диалог (нем.) — диалог, «свободный от господства од­
ной из сторон» (прим. перев.). • ^

влияние на используемые критерии, валидность — это не просто понятие, заимствованное из эпистемологии. Более того, можно выделить различные уровни психологической теории (Snow, 1973). Это означает, что «Protocollsatze», в качестве аксиомы предпочитаемое логическими позитиви­стами, не является единственным уровнем теории. Сущест­вуют также таксономические теории и, наконец, простые рабочие гипотезы.

3.2.3. Как возникает представление о валидности?

Приобретение валидных знаний можно изучать как фе­номен развития. Специалист в области педагогической пси­хологии Перри (1970) изучал то, каким образом у студентов Гарвардского университета в процессе образования изме­няются представления об истине, валидности и ценностях. С помощью повторных интервью он провел исследование на 140 студентах. В полученных материалах он выделяет 9 позиций, которые можно объединить в три категории.

1. 
   Первая категория характеризуется пассивным приобре­тением знаний и восприятием преподавателя как несом­ненного авторитета с точки зрения знаний.
   
2. 
   Вторая категория ответов показывает понимание студен­тами того, что любое знание зависит от контекста и явля­ется относительным. Соответственно, и точка зрения пре­подавателя рассматривается как одна, произвольно выбранная, из множества возможных.
   
3. 
   Третья категория ответов студентов показывает, что они формируют свое собственное видение мира и ощушают необходимость действовать на основе собственных знаний и практически использовать их в конкретных ситуациях.
   

Китченер и Кинг (1981) заинтересовались тем, как мо-лодыелюдив возрасте 15 лет и старше представляют реаль­ность, как они понимают источники знаний о реальности и что они думают о природе знаний. Полученные результаты авторы разбили на 7 уровней — «шагов», последователь­ность которых можно рассматривать как отражение этапов развития. Первый «шаг» выявил представление о том, что знания находятся где-то «вовне» («out there»), чтоонисиль-

В ходе этого исследования было также показано, как у людей начиная с 15 лет и старше изменяются представления о валидности и валидном знании. Последний шаг содержит в большей или меньшей степени эпистемологическую кон­цепцию социальных наук и более частную сферу — психо­логию как науку о человеческом поведении.

Кроме того, исследование представлений детей о правде и лжи показало, что дети от 5 лет и старше полагаются на «факты», то есть для них наиболее важной является связь между утверждениями и реальными событиями (Strichartz & Burton, 1990). В представлениях об истине детей от 5 до 8 лет важным является соответствие между утверждениями и реальными событиями, и на это представление не влияет замечание о том, что кто-то верит или не верит этой инфор­мации (Bussey, 1992). Начальная форма представлений об истине опирается на простую корреспонденцию, и лишь впоследствии появляются такие критерии, как консенсус,

полезность и когерентность (Van Houdt, 1994). Например, Адальбжарнадоттир (1992) изучал, каким образом и когда дети постигают принципы коммуникативного консенсуса, описанные Хабермасом (1984).

Подведем некоторые итоги. Представление о знании в ходе развития ребенка проходит путь от наивного реализма к постижению реальности с помощью теорий, идей и гипо­тез. В процессе развития постепенно приходит понимание необходимости проверки и подтверждения знаний, все воз­растающее значение должны приобретать методологиче­ские правила. Этот процесс познания начинается с апелляции к авторитетам, но постепенно все большее зна­чение приобретают общепринятые, хотя вовсе не незыбле­мые, методологические правила.

3.2.4. Концепция валидности в психодиагностике

Для получения информации о людях и группах в психо­диагностике используются тесты и другие процедуры. В главе 1 утверждалось, что такого рода изучение идет даль­ше оценки собственно тестируемого поведения. В диагно­стике обычно различают три типа валидности: прогностическую, конструктную и содержательную.

Валидность — это достаточно сложное понятие. В каче­стве сходных с ним понятий могут быть названы правди­вость, полезность, точность, возможность интерпретации (интерпретируемость), прогностическая способность и по­мощь в принятии решений. Как уже подчеркивалось, раз­ные типы валидности имеют одну и ту же основу. Однако понятие валидности должно быть четко определено приме­нительно к различным целям, аспектам и контекстам. Та­кая дифференциация дает информацию о том, в каком контексте концепция валидности может быть использова­на.

103

тов, имеющих в своем распоряжении определения содержа­ния заданий, правила выборки заданий из области изучае­мых феноменов, правила для проверки заданий и единые критерии для интерпретации. Тесты, составленные двумя командами разработчиков, проводятся на выборке испыту­емых. Надежность тестов подсчитывается путем расщепле­ния заданий на две части, в результате чего получают индекс содержательной валидности.

Описание этих трех типов валидности встречается во всех учебниках по психодиагностике. Кроме них выделяют­ся также и другие специфические виды валидности. Мы заимствуем их описание у Дренса (1975), Некоторые авто­ры (например, Guilford, 1954) приводят описание еще боль­шего числа типов валидности.

Вторая дифференциация валидности: специфические типы. Первый специфический тип — это «внутренняя ва­лидность». Она относится к требованию, согласно которому корреляция не должна быть тривиальной или тавтологич­ной. Тестируемые отношения не должны входить в опреде­ляемые понятия. Исследования не должны идти «по кругу». Это резонные замечания. Однако не так легко избежать чисто семантического уровня разработки психологических конструктов. Например, социальные конструктивисты Смедслунд и Герден упрекают психологов за то, что они занимаются проверкой не реальных гипотез, а тавтологий.

«Факторная валидность» имеет отношение к процед\ рам многомерного анализа и теории, которая преимущественно используется при конструировании тестов. Считается, что тест обладает факторной валидностью, если он имеет высо­кую нагруженность по известным факторам. Одним их пер­вых этот тип валидности определил Гилфорд. Предложенная им концепция структуры интеллекта обус­ловила разработку «тестов одного фактора», что на самом деле является разработкой простой структуры Терстоуна. Этот тип тестов направлен на измерение только одного конкретного фактора.

«Синтетическая валидность» содержит информацию о том, могут ли данные о валидности теста быть перенесены с одной ситуации на другую. Это имеет важное значение в тех случаях, когда критерий является комплексным. Пред­ставляется ценным иметь в своем распоряжении тест, кото-


104

105

«Конгруэнтная валидность» обозначает корреляцию данного теста с уже существующими тестами того же типа.

«Внешнюю (очевидную) валидность» по-другому можно определить как валидность «с первого взгляда», подобно тому как мы говорим о «любви с первого взгляда». Имеется в виду, что первое впечатление о том, что оценивает тест, соответствует связанному с ним критерию. Это выглядит приемлемым. Но что произойдет, если без проведения ка-ких-бы то ни было эмпирических исследований тест будет назван валидным только на том основании, что его крите­рий представляется вполне очевидным? Дрене (1975) вы­ступает против такого подхода и приводит примеры того, как тесты, казалось бы, предсказывающие критерий, на самом деле это делать не могли. Так, при отборе водителей используется водительское кресло, но испытания на нем не имеют никакой прогностической валидности. То же самое произошло и с тестом Бурдона-Виерсма при диагностике эпилепсии и использовании на вступительных экзаменах в высшую школу. «Внешняя валидность» предполагает суще­ствование прогностической валидности, которая при этом не исследуется эмпирически, а иногда фактически просто отсутствует. Но есть и обратная проблема. Предположим, что имеется тест, обладающий прогностической валидно-стью, но оцениваемый экспертами как не имеющий отно­шения к работе или к школьным достижениям. Естественно, что этот тест не будет допущен к использова­нию в качестве методики для отбора.

Понятие «инкрементной валидности» относится к требо­ванию, согласно которому тест должен дополнять уже из­вестную прогностическую валидность, основанную на демографических и социально-экономических данных. Этот тип валидности имеет смысл, поскольку валидные ме­тодики должны конкурировать с имеющимся базальным уровнем знаний. При этом, однако, не отбрасывается тот факт, что корреляции тестовых показателей с демографи­ческими переменными являются информативными показа­телями, так как тесты могут оказаться пристрастными в отношении определенных групп.

(1976) описывают концептуальные схемы исследований, проводимых в педагогической и инженерной психологии. Назначение эксперимента — выявить причинно-следст­венные связи. План такого исследования содержит указа­ния относительно того, кто, где и когда может подвергаться наблюдению. С помощью идеи Фишера об «идентичных двойниках на все случаи жизни» и случайного выбора усло­вий для субъекта проверяются возможные гипотезы о при-чинах поведения. В отличие от этого цель квазиэкспериментального исследования состоит в выявле­нии воздействия той или иной переменной (например, те­рапии) на зависимые переменные, в то время как случайное соответствие условиям исключено. Различаются следую­щие виды валидности.

1. 
   Внутренняя валидность (internal validity). Это понятие относится к тому факту, что наблюдаемые изменения за­висимой переменной могут быть приписаны другой пере­менной как «независимой». Источниками непреднаме­ренных изменений являются характеристики контрольной и экспериментальной групп, например раз­личия в развитии, отборе, в избирательном участии и выпадении из ситуации эксперимента, а также взаимо­действие между этими характеристиками. Факторами, влияющими на характеристики переменных, могут стать сами методики и ситуация эксперимента, например, фе­номен статистического сведения к среднему, повторное тестирование, тесты, оценивающие различное поведение и события, воздействующие на одни группы и не оказыва­ющие никакого влияния на другие.
   
2. 
   Валидность статистического вывода. Для того, чтобы вы­явить влияние независимых переменных при проведении экспериментов, внутриклеточная вариативность матри­цы распределения (различия, между субьектами) должна быть ограничена. Валидность статистического вывода возрастает при увеличении внутриклеточных различий, например, при малой (нерепрезентативной) выборке ис­пытуемых, при разнородности их состава, при неправиль­ном предъявлении независимых переменных или при от­сутствии должного контроля за условиями работы контрольной и экспериментальной групп.
   
3. 
   Внешняя валидность (external validity). Целью любого исследования является обобщение результатов. Но при взаимодействии двух независимых переменных результа-
   

107

Таковы различия типов валидности для тестов и квази­экспериментов (см. также Cook & Shadisn, 1994). Понятие валидности конкретизировалось и применительно к разным контекстам. В то же время существует тенденция унифици­ровать понятие валидности.

лидности следующие вопросы: возможность интерпрета­ции, релевантность, возможность практического использо­вания тестовых показателей. Они относятся к трем наиболее известным типам валидности. Он добавляет также четвертый тип: функциональную ценность показателей с точки зрения результатов их социального использования. Автор подчеркивает, что надежность, валидность и объек­тивность тестов — это не только методические требования. Тесты имеют также и социальное значение, поскольку они используются при оценивании людей и условий, в которых те живут. На это также указывает и Кронбах (1988). Вопрос заключается не только в том,.является ли методика валид­ной, но также и в том, отвечает ли она нормам и ценностям общества.

Независимо от Хабермаса (1973) два других автора под­черкивают, что валидность только тогда адекватна, когда она соответствует социальным нормам. Хабермас назвал это «Richtigkiet»*. Конкретный пример того, что последст­вия использования теста не соответствуют социальным нор­мам и ценностям, описан Кронбахом (1988). Он указал на то обстоятельство, что, во-первых, результаты тестирова­ния влияют на способ обучения в том отношении, что учи­теля акцентируют внимание на изучении фактов, и, во-вторых, тесты могут оказаться «пристрастными» в отно­шении некоторых групп.

Мессик считает наиболее важным понятие конструктной валидности и доказывает, что прогностическая и конструк­тная виды валидности могут быть рассмотрены как две ка­тегории этого типа валидности. Для объяснения связи между предиктором и критерием необходимо наличие тео­ретической возможности такой связи, например, посредст­вом общего конструкта.

Содержательная валидность предполагает выбор зада­ний из соответствующей области, которую чаще всего об­разуют те или иные знания, умения, способности, навыки. Так, соблюдая требования валидности, можно косвенно оценивать знания, навыки, способности.

Валидность — это понятие открытого типа, предполага­ющее выведение содержательных заключений путем ана­лиза полученных показателей. Нужно ответить на следующие вопросы:

* Richtigkiet (нем.) — правильность, верность, точность (прим. перев.)


108

109

• 
  Корректны ли задаваемые вопросы?
  
• 
  Все ли важные элементы рассматриваются?
  
• 
  Существуют ли способы контроля и учета побочной вари­ативности тестовых показателей?
  
• 
  Отражает ли процедура подсчета баллов процессы, про­исходящие в области заданий, и согласуется ли такая про­цедура с этой областью?
  
• 
  Имеются ли данные, подтверждающие, что тестовые по­казатели отражают именно то, что они должны отражать на самом деле? Например, являются ли они показателями личностной черты, которую важно у читывать при профес­сиональном отборе, тренинге или в ходе терапевтического процесса?
  
• 
  Существуют ли альтернативные способы интерпретации для тестовых показателей или альтернативные способы обработки?
  
• 
  Являются ли полученные показатели надежными и могут ли быть они обобщены по содержанию, контексту и груп­пам?
  
• 
  Учитываются ли возможные последствия использования показателей теста?
  

• 
  Можно ли применять тестовые показатели в конкретных ситуациях?
  
• 
  Корректно ли используется информация о тестовых пока­зателях?
  
• 
  Соответствуют ли близкие и далекие по времени послед­ствия, применения теста его исходным целям и нет ли нежелательных побочных результатов?
  

3.2.5. Пятидесятые годы: новые акценты в исследовании валидности

Первоначально психодиагностика рассматривалась все­го лишь как прикладная психология. Акцент делался на предсказании релевантных критериев. В 1955 г. в статье Кронбаха и Миля проблема тестовой валидности была впер­вые поставлена как теоретическая. Мессик использовал со-гласованные тестовые показатели как источник теоретически и эмпирически обоснованных утверждений, характеризующих личность, ситуации, институты и даже объекты. Кроме того, в этих утверждениях учитывались также социальные ценности и нормы. Таким образом, по­нятие валидности в психодиагностике развивалось.

В истории развития концепции валидности можно про­следить, что становилось основным предметом рассмотре­ния в тот или иной период и каким образом аккумулировались требования. Первый акцент был сделан на предсказании поведения. Вначале доминировал прагма­тический, а не теоретический интерес (Angoff, 1988). Ин­тересовали задачи, пригодные для тех или иных профессий. Это стало отправной точкой как при разработке тестов, так и при определении критериев. Критерий необходимо опре­делить объективно, и тесты должны быть стандартизованы. Для применения в образовании были разработаны критери­ально-ориентированные тесты. Следующий акцент был сделан на развитии понятия конструктной валидности. Ан-гофф (1988) назвал это понятие изобретением «магического средства».

Развитие концепций валидности сопровождалось совер­шенствованием статистических методов, что в свою очередь оказывало влияние и на становление понятия валидности. Хорошо известный пример — это многометодная матрица свойств Кэмпбелла и Фиске (1959). Оценивалась валид-ность изучения ряда черт при помощи различных методов. Интерес был сконцентрирован на рассмотрении валидности черт. Предполагалось, что различные черты должны расхо­диться (дивергировать), а сходные — конвергировать, то есть речь шла о конвергентной и дискриминантной валид­ности. Предполагалось, что отдельные черты будут нечув­ствительны к используемым методам. Использование этой


110