(а) Данные, полученные качественными методами № 6, 7, 8, могут быть при помощи методики Раша описаны в виде арифметической шкалы. (б)

Помимо разработки шкал, метод Раша может быть использован для учета того, каким образом осуществляется практическое применение полученных шкал оценки. Это помогает уточнить нечеткие формулировки, определить, малы или наоборот излишне крупными являются применяемые отрезки шкалы и осуществить уточнение и пересмотр шкал (Davidson 1992; Milanovic et al 1996; Stansfield and Kenyon 1996; Tyndall and Kenyon 1996).

in ELT, 71-86.

Brindley, G. 1991: Defining language Принципиальная критика положения о ability: the criteria for criteria. In: Anivan, том, что шкалы языковой компетен-S. (edj Current developments in language тности должны отражать оценку, опи-testing, Singapore, Regional опирающуюся на систему критериев.

Language Centre.

Brindley, G. 1998: Outcomes-based assess- Критикует описание результатов в

ment and reporting in language learning терминах того, какие действия уча-programmes, a review of the issues, щиеся могут совершать, а не в терми Language Testing 15(1), 45-85. нах того, какие языковые компетенции

Brown, Annie, Elder, Cathie, Lumley, Tom, Классическое применение метода Раша McNamara, Tim and McQueen, J. 1992: для шкалирования различных видов Mapping abilities and skill levels using тестовых заданий, используемых для оп-Rash techniques. Paper presented at the ре деления уровня владения навыком чте-

4th Language Testing Research Colloquium, ybz

Vancouver. Reprinted in Melbourne Papers

Шкалы дескрипторов, описываемые в главах 3, 4 и 5, были разработаны в резуль­тате проекта, осуществленного под эгидой Швейцарского национального совета по вопросам научных исследований в период с 1993 по 1996 год. Этот проект был реализован в соответствии с решениями, принятыми на симпозиуме в Рюшликоне в 1991 году. Его целью было разработать четкие описания языковых компетенций, а также возможно способствовать развитию Европейского языкового портфеля.

Исследование 1994 года рассматривало вопросы речевого взаимодействия и продуцирования речи и было ограничено проблемами обучения английскому языку как иностранному, а также вопросами оценки уровня знаний преподавателями. Исследование 1995 года частично повторяло исследование 1994 года, добавив проб­лему восприятия, но наряду с английским языком в него были включены также немецкий и французский. Вопросы оценки знаний преподавателями были расширены за счет рассмотрения процедур самооценки и изучения материалов некоторых экзаменов (Cambridge; Goethe; DELF/DALF).

В обоих исследованиях приняли участие почти 300 преподавателей и около 2800 учащихся, представляющих почти 500 различных классов. Учащиеся средней школы (начального этапа обучения и старших классов), учащиеся профессионально-техни­ческих учебных заведений и взрослые учащиеся были представлены в следующей пропорции.

В исследовании принимали участие преподаватели, проживающие в кантонах Швейцарии, где преобладает немецкий, французский, итальянский и ретророманские языки соответственно, хотя количество участников из двух последних областей было ограничено. Четверть преподавателей, участвовавших в исследовании, в год его проведения преподавали родной язык. Преподаватели заполняли анкеты на языке, который служил материалом исследования. Таким образом, в 1994 году исполь­зуемые дескрипторы были сформулированы лишь на английском языке, в то время как в 1995 году анкеты были составлены на английском, французском и немецком.

1. Детальный анализ шкал уровней владения языком, используемых в преподава­тельской деятельности или полученных от Совета Европы в 1993 году; список приводится в конце обзора.

2. Вычленение из этих шкал описательных категорий, связанных с категориями, перечисленными в главах 4 и 5 для того, чтобы создать единый перечень классифицированных и отредактированных дескрипторов.
Качественный анализ:

3. Категориальный анализ записей заседаний, на которых преподаватели обсуждали и сравнивали результаты владения языком учащихся, продемонстрированные посредством видеозаписей, чтобы удостовериться, что разработанная система терминологии адекватно отражает обсуждаемое содержание.

4. 32 семинара с преподавателями, которые (а) классифицировали дескрипторы в соответствии с категориями, требующими описания, (б) характеризовали эти описания с точки зрения их ясности, точности и значимости для категорий, (в) распределяли дескрипторы между различными уровнями владения языком.
Этап количественных подсчетов:

5. Оценка знаний и умений учащихся по окончании учебного года при помощи взаимосвязанной цепочки анкет, составленных из дескрипторов, которые на предыдущем этапе были признаны наиболее ясными, точными, значимыми. На первом году исследования была использована серия из 7 анкет, включающих по 50 дескрипторов каждая, на основании которых была проведена оценка знаний учащихся в диапазоне от начинающих с 80-ю часами английского языка до учащихся продвинутого этапа.

6. На втором году исследования была использована другая цепочка из 5 анкет. Общим для обоих исследований является то, что одни и те же дескрипторы были использованы для оценки умения устного общения. Учащимся выставлялась оценка от 0 до 4 по шкале, описывающей отношение к условиям общения, при которых от говорящих следовало ожидать поведения, соответствующего описан­ному в дескрипторе. То, как преподаватели интерпретировали дескрипторы, было проанализировано по методу Раша. Этот анализ преследовал две цели:

(а) математически рассчитать «уровень трудности» для каждого дескриптора;

(б) выявить статистически значимую вариативность в интерпретации дескрип­торов по отношению к разным типам учебных заведений, к географическим областям, различающимся своим языком, и к преподаваемому языку с тем, чтобы выявить дескрипторы, обладающие высокой стабильностью своего зна­чения в разных ситуациях, и в дальнейшем использовать их для разработки холистических шкал, описывающих общеевропейскую систему уровней.

7. Оценка видеозаписи языкового поведения некоторых учащихся всеми участ­вующими преподавателями. Целью этой оценки было количественно описать

215

разницу в степени строгости оценки одного учащегося разными учителями с тем, чтобы учесть эту вариативность при определении диапазона результатов обучения.

8. Выделение границ между отдельными дескрипторами на общей шкале с тем, чтобы создать систему уровней «Общеевропейских компетенций», описанных в главе 3, обобщение этих уровней в виде единой холистической шкалы (Таблица 1 ), Таблица для самооценки, описывающая виды языковой деятельности (Таблица 2), и Таблица оценки языкового поведения, описывающая различные аспекты коммуникативной компетенции (Таблица 3).

9. Введение иллюстративных шкал в главах 4 и 5 для тех категорий, которые могли быть шкалированы.

10. Приспособление дескрипторов для их использования в листах самооценки с тем, чтобы создать пробный швейцарский вариант языкового портфеля. Он включает: а) листы для самостоятельной оценки навыков аудирования, говорения, устного общения, продуцирования речи, письма (Таблица 2); б) контрольные листы самооценки для каждого из уровней «Общеевропейских компетенций».

11. Заключительная конференция, на которой были представлены результаты иссле­дования, обсудила опыт создания языкового портфеля, и преподаватели были ознакомлены с системой уровней «Общеевропейскими компетенций».
Результаты

Шкалирование дескрипторов для различных языковых умений и различных видов языковой компетенции (лингвистической, прагматической, социокультурной) упи­рается в вопрос о том, возможно ли объединить оценку этих различных аспектов в рамках единой измерительной системы. Эта проблема не связана с использованием модели Раша, а присуща всем видам статистического анализа. Однако использование методики Раша предполагает очень строгий отбор категорий. Результаты экспери­ментов, данные, полученные при преподавательской оценке владения языком, и дан­ные, полученные при самооценке, могут давать различные результаты при интерпре­тации. В процессе оценки учителями языковых компетенций учащихся некоторые категории оказались неудачными и были изъяты из общего перечня категорий. К ним относятся:

Эти дескрипторы описывают социокультурную и социолингвистическую компетенцию. Неясно, были ли проблемы вызваны а) отличием этого явления от языковой компетенции; б) нечетко сформулированными дескрипторами, которые были отмечены как неудачные в ходе семинаров; или в) непоследовательными ответами преподавателей, проводивших оценку и не обладавших достаточными знаниями об оцениваемых учащихся. Эта проблема затронула дескрипторы, описывающие умения читать и оценивать достоинства художественной литературы.

Эти дескрипторы требовали от преподавателей высказывать догадки относи­тельно языковых умений (в основном связанных с профессиональной деятельностью),

выходящих за пределы непосредственно наблюдаемых ими навыков в учебных аудиториях, как-то: телефонные звонки; участие в деловых встречах и заседаниях; проведение официальных презентаций; написание эссе и докладов; ведение официальной переписки. Эти проблемы возникали несмотря на участие в проекте взрослых учащихся и учащихся профессионально-технических учебных заведений.

Сюда включены дескрипторы, которые потребовали более упрощенной формули­ровки, разъяснения или повтора, и которые включают в себя отрицательные понятия. Такие дескрипторы воспринимались лучше, когда их включали в формулировки, содержащие позитивные положения, в качестве дополнительных условий, например:

Для преподавателей, участвующих в исследовании, оказалось, что чтение должно оцениваться по отдельной шкале в отличие от устного общения и порождения речи. Однако принципы отбора данных позволили шкалировать чтение отдельно и затем соотнести шкалу для чтения с основной шкалой по окончании проекта. Письменным навыкам не уделялось большого внимания, а дескрипторы, описывающие порождение письменной речи (см. глава 4), были разработаны на основании дескрипторов, описывающих порождение устной речи. Относительно высокая стабильность коли­чественных значений на шкале для чтения и письма, что указывается в «Обще­европейских компетенциях» и подтверждается проектами DIALANG и ALTE (см. Приложения С и D, соответственно), позволяет заключить, что подходы, приме­ненные к оценке умений чтения и письма, в целом были достаточно эффективными.

Трудности с вышеупомянутыми категориями связаны с проблемой выбора между одно- и многомерным шкалированием. Однако больше трудностей в этом плане было вызвано не многомерностью шкалирования, а контингентом учащихся. Было несколько случаев, в которых трудности, вызываемые каким-либо дескриптором, зависели от учебной аудитории. Например, преподаватели предполагают, что взрос­лые учащиеся на начальном этапе понимают задания из «реальной жизни» легче, чем 14-летние подростки. С интуитивной точки зрения это должно быть правильно. Такое различие может быть описано как «дифференциальная функция понятия» (ДФП). Дескрипторы, обладающие ДФП, по возможности, были исключены из системы уровней «Общеевропейских компетенций», включенных в Таблицы 1 и 2 в главе 3. Не было отмечено значительного влияния со стороны изучаемого языка и никакого влияния со стороны родного языка, за исключением того, что преподаватели родного языка могут более строго интерпретировать термин «понимание» на продвинутых этапах, особенно при изучении литературы.

Применение

Описательные дескрипторы, перечисленные в главах 4 и 5, были либо (а) поме­щены на тот уровень, на котором этот дескриптор был откалиброван непосредственно в ходе исследования; (б) созданы путем перекомбинирования элементов дескрип­торов, откалиброванных для этого уровня в ходе исследования, или (в) отобраны на основании результатов качественного этапа (семинары) или (г)

сформулированы на стадии интерпретации для того, чтобы заполнить пробел на созданной эмпирическим путем вспомогательной шкале. Последнее положение относится почти исключи­тельно к уровню владения языка в совершенстве, для которого в исследование было включено незначительное количество дескрипторов.

North, B.forthcoming: Developing descriptor scales of language proficiency for the CEF Common Reference Levels. In J.C.Alderson (ed.) Case studies of the use of the Common European Framework. Council of Europe.

North, B. forthcoming: A CEF-based self-assessment tool for university entrance. In J.C.Alderson (ed.) Case studies of the use of the Common European Framework. Council of Europe.

North, B. and Schneider, G. 1998: Scaling descriptors for language proficiency scales. Language Testing 15/2:217-262.

Schneider and North 1999. «In anderen Sprachen kann ich»... Skalen zur Beschreibung, Beurteilung und Selbsteinschatzung der fremdsprachlichen Kommunikationsfahigkeit. Berne, Project Report, National Research Programme 33, Swiss National Science Research Council.
Дескрипторы для «Общеевропейских компетенций»
В дополнение к таблицам, включенным в главу 3 для обобщения системы уровней «Общеевропейских компетенций», описательные дескрипторы включены в тексты глав 4 и 5 следующим образом.


218

Документ В1. Описательные шкалы в главе 4: коммуникативные виды

Деятельности

ВОСПРИЯТИЕ	Устное	• Аудирование • Понимание беседы между носителями языка • Непосредственное аудирование, будучи участником аудитории • Прослушивание объявлений и инструкций • Прослушивание радио- и аудиозаписей
	Аудиовизуальное	• Просмотр ТВ и кинофильмов
	Письменное	• Чтение • Чтение корреспонденции • Чтение для ориентации • Чтение для информации и дальнейшего аргументирования • Чтение инструкций
ВЗАИМОДЕЙСТВИЕ	Устное	• Устное общение • Понимание при общении • Понимание собеседника - носителя языков • Беседа • Неформальное обсуждение • Формальное обсуждение (деловая встреча) • Взаимодействие для достижения цели • Приобретение товаров и услуг • Обмен информацией • Интервьюирование и участие в интервью в качестве интервьюируемого
	Письменное	• Общение в письменном виде • Обмен корреспонденцией • Записки, короткие сообщения, заполнение форм
ПОРОЖДЕНИЕ	Устное	• Порождение устной речи • Продолжительный монолог: описание опыта • Продолжительный монолог: изложение своей позиции (например, в рамках дебатов) • Публичные объявления • Обращение к аудитории
	Письменное	• Порождение письменной речи • Письменное творчество • Написание докладов и эссе

Документ В2. Описательные шкалы в главе 4: коммуникативные стратегии

ВОСПРИЯТИЕ	• Понимание подсказок и намеков
ВЗАИМОДЕЙСТВИЕ	• Вступление в беседу • Сотрудничество • Запрос уточнения/пояснения
ПОРОЖДЕНИЕ	• Планирование • Подбор альтернативного варианта выражения мысли при недостаточном словарном запасе • Контроль за своей речью и исправление ошибок

219

Документ ВЗ. Описательные шкалы в главе 4: работа с текстом

ТЕКСТ • Ведение конспектов на лекциях и семинарах • Обработка текста

Документ В4. Описательные шкалы в главе 5: компетенции языкового общения

ЛИНГВИСТИЧЕСКИЕ Диапазон	• Общий диапазон • Словарный запас
Контроль	• • • •	Грамматическая точность Контроль за употреблением словаря Фонологический контроль Орфографический контроль
СОЦИО-ЛИНГВИСТИЧЕСКИЕ	• • • • • • •	Социолингвистические Гибкость Вступление в беседу - повторное Развитие темы Связность Точность построения пропозиций Беглость речи
ПРАГМАТИЧЕСКИ Е

Документ В5. Последовательность при калибровке дескрипторов
Положение, которое тот или иной дескриптор занимает на шкале, демонстрирует высокую степень последовательности. В качестве примера можно привести понятие топика, темы. Для этого понятия специальные дескрипторы не вводились, но ссылка на топики была сделана в дескрипторах для самых разных категорий. Три наиболее важные категории - Описание и рассуждение, Обмен информацией и Диапазон.

Нижеприведенные таблицы сравнивают то, каким образом топики рассматри­ваются в рамках этих трех категорий. Хотя содержание трех различных схем не одинаково, при сравнении можно выявить значительную степень последовательности, проявляющейся через набор шкалированных дескрипторов. Подобный анализ послу­жил основой для формулирования дескрипторов для категорий, не включенных в исходное исследование (например, Публичные объявления). Эти дескрипторы были образованы путем перекомбинирования компонентов дескрипторов.

• Hofmann: Levels of Competence in Oral Communication 1974

• University of London School Examination Board: Certificate of Attainment -Graded Tests 1987

• Ontario ESL Oral Interaction Assessment Bands 1990

• Finnish Nine Level Scale of Language Proficiency 1993

• European Certificate of Attainment in Modern Languages 1993

• Trim: Possible Scale for a Unit/Credit Scheme Skills 1978

• North: European Language Portfolio Mock-up: Interaction Scales 1991

• Eurocentres/ ELTDU Scale of Business English 1991

• Association of Language Testers in Europe, Bulletin 3, 1994
Шкалы для четырех умений

• Foreign Service Institute Absolute Proficiency Ratings 1975

• Wilkins: Proposals for Level Definitions for a Unit/Credit Scheme: Speaking 1978

• Australian Second Language Proficiency Ratings 1982

• American Council on the Teaching of Languages Proficiency Guidelines 1986

• Elviri et al: Oral Expression (in van Ek 1986)

• Interagency Language Roundtable Language Skill Level Descriptors 1991

• English Speaking Union (ESU) Framework Project: 1989

• Australian Migrant Education Program Scale (Listening only)

• Dade County ESL Functional Levels 1978

• Hebrew Oral Proficiency Rating Grid 1981

• Carroll В J. and Hall P.J. Oral Interaction Assessment Scale 1980

• International English Testing System (IELTS): Band Descriptors for the Speaking and Writing 1990

• Goteborgs Univeritet: Oral Assessment Criteria

• Fulcher: The Fluency Rating Scale 1993
Описание учебных программ и критерии оценки достижений при завершении курса в учебных заведениях различного уровня

• University of Cambridge/Royal Society of Arts Certificates in Communicative Skills in English 1990

• Royal Society of Arts Modern English Examinations: French 1989

• English National Curriculum: Modern Languages 1991

• Netherlands New Examinations Programme 1992

• Eurocentres Scale of Language Proficiency 1993

• British Language Lead Body: National Language Standarts 1993

222
ПРИЛОЖЕНИЕ С: ШКАЛЫ DIALANG

В данном приложении рассматривается система оценки уровня владения языком DIALANG, которая является дополнением к системе «Общеевропейских компетен­ций» для проведения различного ряда диагностических мероприятий. В Приложении основное внимание уделяется утверждениям, используемым для самооценки, и процедуре их калибровки, выполненной в ходе создания системы DIALANG. Приложение также включает две взаимосвязанные описательные шкалы, которые основываются на системе «Общеевропейских компетенций» и используются для информирования тестируемых учащихся о результатах и для объяснения этих результатов. Дескрипторы, используемые в рамках этого проекта, были шкалированы и приведены в соответствие с уровнями «Общеевропейских компетенций» при помощи метода № 12в (моделирование по методу Раша), описанного в конце приложения А.

Система включает листы самооценки, языковые тесты и материалы для объяс­нения полученных результатов, подготовленные на четырнадцати европейских язы­ках: датском, голландском, английском, финском, французском, немецком, грече­ском, исландском, ирландском, итальянском, норвежском, португальском, испанском и шведском. DIALANG можно бесплатно получить из интернета.

Система оценки DIALANG и описательные шкалы, используемые для сообщения результатов пользователям непосредственно основаны на системе «Общеевропейских компетенций». Дескрипторы для самооценки, используемые в системе DIALANG, были в основном заимствованы из системы «Общеевропейских компетенций» и адаптированы к специфическим потребностям данной системы.
Предназначение DIALANG

DIALANG предназначена для взрослых пользователей, желающих определить свой уровень владения иностранным языком и получить подробное описание сильных и слабых сторон своих языковых умений. Эта система также позволяет учащимся понять, каким образом они могут улучшить свои языковые навыки, и, более того, она формирует осознанное представление о таких понятиях, как изучение иностранных языков и уровень владения языком. В рамках этой системы сертифицирование не производится.

Основными пользователями системы DIALANG являются, таким образом, учащиеся, изучающие язык самостоятельно или в рамках учебного заведения. Однако преподаватели иностранных языков также могут найти что-нибудь полезное для себя в рамках системы DIALANG.

223

Процедура оценки в рамках системы DIALANG
Процедура оценки в рамках системы DIALANG включает следующие этапы:

1. Выбор языка, на котором будут даваться инструкции и оценка (14 возможных языков)

2. Регистрация

3. Выбор языка, уровень владения которым будет тестироваться (14 возможных языков)

4. Тест на определение словарного запаса

5. Выбор умения (чтение, аудирование, письмо, словарь, грамматика)

6. Самооценка (только для чтения, аудирования, письма)

7. Предварительная оценка уровня знаний учащегося

8. Проведение теста соответствующего уровня сложности

9. Результаты и комментарии

Войдя в систему, учащиеся прежде всего выбирают язык, на котором они хотят получать инструкции, результаты оценки и комментарии. После регистрации им предъявляется тест для первичного определения уровня их знаний, который одновре­менно оценивает их словарный запас. После выбора навыка, который пользователи хотят подвергнуть тестированию, но до выполнения выбранного теста им предостав­ляется ряд дескрипторов для самооценки. Эти дескрипторы непосредственно отно­сятся к тестируемому умению, и пользователи должны решить, умеют ли они выполнять действия, описываемые в каждом утверждении. Система DIALANG не предоставляет вопросы для самооценки в таких областях, как словарный запас и грамматика, несмотря на то, что тестирование этих знаний возможно. Это связанно с тем, что относящиеся к данным областям положения отсутствуют в системе «Обще­европейских компетенций». По окончании теста, в рамках комментария учащимся сообщается, совпадает ли их уровень по результатам тестирования DIALANG с их самооценкой. Здесь же учащимся предлагаются возможные объяснения, почему могло возникнуть некоторое расхождение.

Предназначение самооценки в рамках системы DIALANG

Система DIALANG использует листы самооценки по двум причинам. Во-первых, самооценка - это важный вид деятельности. Считается, что оценка собственных знаний развивает стремление к самостоятельному изучению предмета, дает учащимся дополнительный контроль над процессом обучения и делает его более осознанным.

Во-вторых, система использует тест на определение словарного запаса и резуль­таты самооценки для предварительного установления уровня знаний учащегося, а затем направляет его/ее на выполнение того теста, который наилучшим образом соответствует его/ее способностям.
ШКАЛЫ САМООЦЕНКИ В СИСТЕМЕ DIALANG
Источники

Большая часть положений в листах самооценки, используемых в рамках DIALANG, была взята из англоязычной версии «Общеевропейских компетенций» (вариант 2, 1996). Таким образом, в системе DIALANG «Общеевропейские компе­тенции» применяются непосредственно для оценки уровня знаний.

Формулировка положений была изменена с «Может/Умеет» на «Я могу/умею», поскольку они должны использоваться для самооценки, а не для оценки преподавателем знаний учащихся. Некоторые дескрипторы были изменены для простоты использования; несколько новых утверждений было создано специально для DIALANG, поскольку в рамках «Общеевропейских компетенций» эти разделы не были разработаны настолько подробно, насколько это требуется для данной системы (эти дескрипторы даны в таблице курсивом). Все дескрипторы были критически рассмотрены д-ром Брайаном Нортоном, автором исходных дескрипторов в рамках «Общеевропейских компетенций», и группой четырех экспертов по вопросам тестирования и преподавания языков, после чего были выработаны окончательные формулировки дескрипторов.

Поскольку DIALANG строится на принципе многоязычия, дескрипторы для самооценки были затем переведены на остальные тринадцать языков. Перевод проис­ходил по согласованной процедуре. Вначале были оговорены основные принципы перевода и обсуждения возможных проблем; основным критерием качества перевода была его понятность для пользователей. На начальном этапе два-три эксперта по каждому из языков переводили утверждения независимо друг от друга, а затем встре­чались для обсуждения различий в переводе и выработки единых формулировок. Эти переводы направлялись в рабочую группу по вопросам самооценки, участники которой обладали достаточными языковыми знаниями, чтобы еще раз проверить качество перевода для девяти языков. Все вопросы формулировок и необходимые изменения обсуждались с переводчиками и утверждались по итогам обсуждений.

К настоящему моменту в рамках проекта DIALANG было проведено только одно исследование, посвященное калибровке дескрипторов для самооценки. (Калибровка -это процесс, при котором при помощи статистических методов происходит определе­ние уровня сложности положений, утверждений и т.д., с последующей организацией их в единую шкалу). Калибровка основывалась на выборке из 304 участников (прове­дение полного теста), которые также выполнили отдельные тесты в системе DIALANG для финского языка. Дескриптор для самооценки были

предоставлены участникам исследования либо на шведском языке (для 250-ти его носителей), либо на английском. Большинство участников могли также обращаться к финскому варианту дескрипторов².

Полученные результаты были проанализированы при помощи программы OPLM (Verhelst et al. 1985; Verhelst and Glass 1995)³ . Результаты могут считаться положи­тельными: более 90% дескрипторов могли быть шкалированы (то есть они «подходи­ли» к использованной статистической модели). Три основные шкалы самооценки, которые были образованы на основе этой калибровки, являются однородными, о чем свидетельствуют высокие индексы надежности (альфа Кронбаха): 0.91 для чтения, 0.93 для аудирования и 0.94 для письма⁴ .

Сходная калибровка, основанная на подходе, разработанном группой анализа данных, будет произведена и при опробовании материалов для остальных тринадцати языков. Это позволит выяснить, могут ли быть воспроизведены результаты первого исследования и существует ли тенденция, ввиду которой отдельные дескрипторы с повторяющейся регулярностью больше подходят для проведения самооценки.

Хотя первая калибровка - единственное исследование подобного рода, важно отметить, что она подтверждает, насколько качественно сформулированы дескрип­торы для самооценки на нескольких языках в рамках DIALANG. Возможность сделать такой вывод обусловлена тем, что участники исследования могли выбирать любой вариант дескрипторов для самооценки (английский, шведский, финский) или даже пользоваться всеми тремя одновременно, хотя большинство из них, скорее всего, предпочли шведский вариант. Благодаря тщательно разработанной процедуре перевода мы можем с уверенностью предположить, что дескрипторы для самооценки адекватно сформулированы на разных языках, хотя это предположение должно быть проверено в ходе других калибровочных исследований.

Дополнительное доказательство качества шкал, разработанных для самооценки в рамках проекта DIALANG - и в рамках «Общеевропейских компетенций» в целом -было получено д-ром Кафтандиевой путем соотнесения величин, указывающих на трудность тех или иных дескрипторов, входящих в настоящее исследование, с величинами для этих же дескрипторов, полученных в ходе другого исследования (North 1996/2000). Величина совпадения составила 0.83 или даже 0.897, если исключить один дескриптор, дающий на удивление низкое значение совпадения.

Документ Cl объединяет 107 дескрипторов для самооценки умений чтения, аудирования и письма, отобранных в результате калибровочного исследования на материале финского языка. Дескрипторы в каждой таблице организованы от самого простого к самому сложному. Дескрипторы, заимствованные не из «Общеевропей­ских компетенций», даны курсивом.

_____________________

² Исследование было проведено в Центре прикладных лингвистических исследований в университете города Jzvâskzlâ, который являлся координационным центром проекта в 1996-1999 годах, рабочей группой по анализу полученных результатов в составе: Fellyanka Kastandijeva (председатель), Norman Verhelst, Sauli Takala, John de Jong и Timo Tôrmâkangas. Координационным центром на втором этапе проекта DIALANG является университет Freie, Берлин.

³ Программа OPLM представляет собой дальнейшее развитие методики Раша и позволяет калибруемым объектам различаться своими параметрами. Разница между этой моделью и моделью, основанной на соотношении двух параметров, заключается в том, что параметры различия не оцениваются, а вводятся как известные постоянные.

⁴ Когда дескрипторы калибровались в сочетании друг с другом, совпадение в рамках общей модели было достаточно значимым (р=0.26). Совпадение при калибровке отдельно для каждого вида деятельности также было значимым (р=0.10 для чтения, 0.84 для письма и 0.78 для аудирования).

226

ДРУГИЕ ШКАЛЫ В РАМКАХ ПРОЕКТА DIALANG, ОСНОВАННЫЕ НА «ОБЩЕЕВРОПЕЙСКИХ КОМПЕТЕНЦИЯХ»
В дополнение к дескрипторам для самооценки DIALANG использует две описательные шкалы, основанные на «Общеевропейских компетенциях». Эти шкалы касаются чтения, письма и аудирования:

• Более сжатый вариант сопровождает результаты тестирования;

• Более полный вариант составляет часть комментариев.
Сжатый вариант шкалы

DIALANG использует более сжатый вариант шкалы для чтения, аудирования и письма при сообщении результатов теста. Когда учащиеся получают результаты тестирования, он сообщается им в терминах шкалы «Общеевропейских компетен­ций», от AI до С2, и значение результата также описывается с использованием этих шкал. Эти шкалы прошли дополнительную проверку на предмет того, могут ли они быть применимы в рамках проекта DIALANG. Двенадцать экспертов распределили утверждения между шестью уровнями. Затем эти общие шкалы были использованы экспертами для установления корреляции между положениями теста для финского языка и системой «Общеевропейских компетенций». Основание для шкалы изложено в таблице 2 «Общеевропейских компетенций»; описания были слегка модифицирова­ны таким же образом, как и дескрипторы самооценки. Эти шкалы представлены в документе С2.