Общеевропейские компетенции владения иностранным языком: Изучение, обучение, оценка

Дескрипторы в рамках системы ALTE составляют центральную часть долгосроч­ного исследовательского проекта, осуществляемого ALTE, целью которого является создание системы «ключевых уровней» языкового поведения, в пределах которых возможно создание и описание объективных языковых экзаменов.

Уже была проведена значительная работа по приведению экзаменационных систем, применяемых участниками ALTE, в соответствие с единой системой уровней на основании анализа содержания и типов заданий, а также изучения потенциальных пользователей. Подробно ознакомиться с этими системами экзаменационных мате­риалов можно в ALTE Handbook of European Language Examinations and Examination Systems.
Используемые в системе ALTE шкалы ориентированы на пользователя

Цель проекта «Умею» заключается в создании и практической проверке применимости шкал оценки языкового поведения, описывающих, какие действия учащиеся могут выполнять с использованием изучаемого языка.

В работе Альдерсона (Alderson, 1991) шкалы уровней подразделяются на ориенти­рованные на самих разработчиков, на экзаменаторов и на пользователей, т. е. лиц, применяющих шкалы для самооценки. Исходя из этой классификации, шкалы ALTE были задуманы и разработаны как ориентированные на пользователя. Они помогают установить понимание между участниками экзаменационного процесса и, в част­ности, делают возможным интерпретацию результатов теста неспециалистами. Таким образом, они являются:

а) полезным инструментом для преподавателей иностранного языка и экзамена­торов. Эти шкалы могут использоваться для определения умений и навыков уча­щихся и, следовательно, определения их реального уровня владения языком;

б) основой для создания диагностических тестовых заданий, программ, основан­ных на разных видах коммуникативной деятельности, и учебных материалов;

в) средством осуществления проверки уровня владения языком, основанной на разных видах деятельности - в помощь персоналу компаний, занимающемуся вопросами обучения и подбора сотрудников;

г) средством сравнения задач учебных курсов и учебных материалов на разных языках, но предназначенных для достижения сходных целей в сходных учебных ситуациях.

Эти шкалы будут полезны для сотрудников отделов кадров, отвечающих за под­бор и обучение персонала, поскольку они предоставляют легко понимаемые описания языкового поведения, которые впоследствии можно преобразовать в точные требо­вания для преподавателей, точные описания требований к кандидатам на должность

.

Дескрипторы «Умею» в системе AL ТЕ - многоязычны

Существенным достоинством этих шкал является то, что они были к настоящему моменту переведены на 12 языков, представленных в ALTE: каталанский, датский, голландский, английский, финский, французский, немецкий, итальянский, норвеж­ский, португальский, испанский и шведский. Поскольку описания уровней владения языком универсальны для любого языка, эти шкалы образуют систему компетенций, с которой потенциально могут быть соотнесены различные виды экзаменов различ­ных уровней сложности. Эти описания позволяют выявить экзамены сходной степени сложности в экзаменационных системах участников ALTE, a также продемонстри­ровать учащимся, какими реальными языковыми навыками, пригодными в их повседневной жизни, они будут обладать после сдачи экзамена определенного уровня.
Организация дескрипторов «Умею»

В настоящее время шкалы дескрипторов «Умею» включают около 400 положений, объединенных в три большие группы «Социальная сфера и туризм», «Работа», «Учеба». Эти группы отражают области наибольшего интереса для большинства изучающих иностранные языки. Каждая группа охватывает более частные разделы, например, группа «Социальная сфера и туризм» включает разделы «Поход в магазин», «В ресторане», «Местожительство» и т.д. Каждый из этих разделов, в свою очередь, включает до трех шкал для умений Аудирование/ Говорение, Чтение и Письмо. Шкала Аудирование/Говорение объединяет шкалы, относящиеся к диалогу.

Каждая шкала содержит дескрипторы, относящиеся к ряду уровней. Некоторые шкалы распространяются только на часть уровней, поскольку существует множество ситуаций, в которых владение языком на начальном уровне уже достаточно для обеспечения успешного общения.
Процесс разработки шкал

Основной процесс разработки шкал прошел следующие этапы:

а) определение круга пользователей экзаменационными материалами участни­ков ALTE при посредстве опросников, школьных отчетов и т.д.;

б) определение диапазона потребностей потенциальных пользователей, выявление основных проблем;

в) использование существующих требований к тестам и таких международно признанных разработанных уровней как Предпороговый и Пороговый, для создания первого варианта дескрипторов;
243

г) опробование дескрипторов, определение их значимости для экзаменующихся;

д) обсуждение формулировок дескрипторов с учащимися и преподавателями для выявления их относительной значимости и понятности;

е) исправление, переформулирование, упрощение языка дескрипторов в свете всего вышеизложенного.

Разработанные таким образом шкалы были подвергнуты продолжительному про­цессу практической проверки с целью установить их объективность и соответствие действительности. В результате этого процесса шкалы должны были превратиться из субъективного набора описаний разных уровней в откалиброванный инструмент измерения. Это долгосрочный процесс, который продолжается и в настоящее время и который будет продолжаться с поступлением новых данных для разных языков, входящих в систему ALTE.

До настоящего времени собранные данные составляют результаты самооценки, полученной от респондентов, которым направлялись анкеты, состоящие из связанных между собой наборов дескрипторов «Умею». Всего было опрошено почти десять тысяч человек. Для многих из этих респондентов имеются дополнительные данные в виде результатов сданных ими экзаменов. На настоящий момент данный проект характеризуется наибольшим количеством собранной информации, на основании которой будет проведена практическая проверка объективности и применимости шкалы для оценки уровня владения языком.

Опытная работа началась с выявления внутренних связей между различными шкалами дескрипторов «Умею». Целью этой работы является:

1. Проверить, каким образом функционируют отдельные дескрипторы «Я умею» в пределах каждой шкалы;

2. Соотнести между собой различные шкалы, составленные из этих дескрип­торов, то есть определить их относительную сложность;

3. Проверить объективность шкал по отношению к языку.

Анкеты были составлены на родном языке респондентов, за исключением лиц, владеющих языком на продвинутом уровне, и раздавались в основном в европейских странах. Основой для заполнения анкеты служила деятельность респондентов: анкета с дескрипторами шкалы «Работа» заполнялась теми, кто пользуется иностранным языком в своей профессиональной деятельности, анкета с дескрипторами шкалы «Учеба» - теми, кто пользовался иностранным языком при получении образования или собирался это сделать. Третья группа респондентов имела дело со шкалой «Социальная сфера и туризм», однако выборочные шкалы из этого раздела также заполнялись и респондентами двух других групп, служа своеобразным «якорем».

«Якорные» элементы используются при сборе данных для их последующей обработки по методу Раша с тем, чтобы связать между собой разные тесты или анкеты. Как показано в Приложении А, анализ по методу Раша создает единую систему оценки на основе матричного принципа сбора данных, или серии перекрывающих друг друга тестовых заданий, соединенных между собой элементами, общими для соседних областей. Эти общие элементы и называются «якорными». Применение «якорных» элементов необходимо для того, чтобы установить относительную трудность разных областей применения и разных шкал.

244

Использование шкалы «Социальная сфера и туризм» как «якорной» основывалось на предположении, что именно эта область предполагает обращение говорящего к наиболее базовым уровням владения языком и что поэтому именно эта область сможет стать точкой отсчета для определения соотношения между шкалами «Работа» и «Учеба».

Одним из итогов первого этапа стал пересмотр шкалированных формулировок дескрипторов «Я умею». В частности, все отрицательные предложения были измене­ны на утвердительные, так как в своей прежней форме они затрудняли статисти­ческие подсчеты и не совсем подходили для описания уровней владения языка, которые должен был достичь учащийся. Ниже приводится пример изменения:

1. Отрицательные предложения были заменены на утвердительные с сохране­нием прежнего значения:

• Было: Не могу ответить на вопросы, за исключением самых простых предсказуемых.

• Стало: Могу ответить на простые предсказуемые вопросы.

2. Отрицательные предложения, выражающие отсутствие признака на более низком уровне были изменены так, чтобы выражать присутствие признака на более высоком уровне:

• Было: Не могу описать такие невидимые симптомы как разные вид

боли, например, «тупая», «острая», «пульсирующая» и т.д.

• Стало: Могу описать такие невидимые симптомы как разные виды

После первичной калибровки дескрипторов и описанного выше пересмотра формулировок основное внимание было уделено установлению соотношений между шкалами дескрипторов «Умею» и другими индикаторами уровня владения языком. В частности, речь идет о системе оценок на экзаменах, проводимых членами ALTE, и о системе уровней «Общеевропейских компетенций».

Работа была начата в 1998 году со сбора данных, которые позволили установить соотношение между самооценкой с использованием дескрипторов «Умею» и оценками, выставляемыми на экзаменах по английскому как иностранному языку, проводимых UCLES (Синдикат по проведению местных экзаменов при Кембридж­ском университете). Между ними было найдено четкое соотношение, что позволило начать описание экзаменационной оценки исходя из того, какие умения и навыки из шкалы дескрипторов «Умею» она выражает.

Однако в случаях когда калибровка шкалы основывается на данных самооценки, полученных от большого числа респондентов из разных стран с разным уровнем знаний, можно отметить определенную вариативность в восприятии респондентами своего уровня владения языком. Это происходит потому, что слово «Умею» воспринимается по-разному под влиянием таких факторов как возраст и культурный фон. Для некоторых респондентов это ослабляет корреляцию между

дескрипторами «Умею» и полученной ими экзаменационной оценкой. Поэтому были выбраны специальные аналитические подходы, позволяющие установить, насколько возможно, точное соотношение между результатами самооценки на основе шкалы дескрипторов «Умею» и уровнями языковой компетенции, устанавливаемыми экзаменационной оценкой. Возможно, потребуется провести еще одно исследование, в котором самооценкой будут заниматься опытные экзаменаторы, чтобы полно и окончательно охарактеризовать соотношение между экзаменационными оценками и уровнями владения языка, полученными в результате разработки шкалы дескрипторов «Умею».

В этом контексте требуется рассмотреть особую концептуальную проблему -проблему понятия владения языком. Что именно понимается под выражением «Умею»? Необходимо определение, показывающее, насколько вероятным мы считаем тот факт, что человек, обладающий Языковыми знаниями определенного уровня, сможет выполнить определенные задания. Следует ли считать, что человек должен всегда выполнять задание в совершенстве? Это может оказаться слишком жестким требованием. С другой стороны, пятидесятипроцентная вероятность успеха может оказаться слишком низкой, чтобы можно было говорить о владении.

Была выбрана цифра 80%, поскольку результат 80 из 100 очень часто использует­ся при тестировании на основе определенного критерия или в пределах определенной области как показатель владения в данной области. Таким образом, все, кто успешно сдают экзамен определенного уровня в системе ALTE, должны иметь восьмидесяти­процентную вероятность того, что они выполнят задания, выявленные как характер­ные для определенного уровня на шкале. Полученные к настоящему времени данные по участникам кембриджских экзаменов показывают, что эта цифра согласуется со средней вероятностью того, что эти участники укажут, что они отнесут утверждения «Умею» на тот уровень, который от них ожидается. Было показано, что такое про­центное соотношение является в среднем постоянным для экзаменующихся на разных уровнях.

Определив таким образом понятие «Умею», мы создали основание для интер­претации экзаменов определенных уровней в системе ALTE в терминах умений, описываемых при помощи утверждений «Может».

Поскольку пока соотношение между шкалой и результатами экзаменов было определено только для кембриджских экзаменов, будет продолжен сбор данных, отражающих соотношение между шкалой дескрипторов «Умею» и результатами других экзаменов в системе ALTE. Это позволит нам проверить, состоят ли другие экзаменационные системы в таком же отношении к системе пяти уровней, разработанной в системе ALTE.

В 1999 году было проведено анкетирование, в которое были включены «якорные» элементы, взятые из «Общеевропейских компетенций» (1996). В их число входили:

1. Дескрипторы из таблицы для самооценки владения основными языковыми категориями (в зависимости от уровня), которые представлены в Таблице 2 в главе 3;

2. 16 дескрипторов, описывающих коммуникативные аспекты беглости, взятые из иллюстративных шкал в главе 5.