Общеевропейские компетенции владения иностранным языком: Изучение, обучение, оценка

Под термином «оценка» в данной главе понимается оценка умений человека пользоваться языком. Все имеющиеся языковые тесты являются определенной фор­мой оценки, однако, существует также много других форм (например, листки контроля, применяемые для оценки в течение длительного периода времени; неформальное наблюдение учителя), которые не могут быть отнесены к тестам. Понятие «оценивание» шире, чем «оценка». Все оценки - это форма оценивания, однако, в языковой программе оценивается не владение изучаемым языком, а некоторые другие аспекты, например, эффективность конкретных методов или материалов, тип и качество дискурса, успешность сотрудничества между учителем и учеником, эффективность обучения и т.д. В данной главе речь пойдет не о более широких вопросах оценивания программ, а об оценке.

Существуют три понятия, которые традиционно считаются основополагающими в обсуждении вопросов оценки: валидность, надежность и осуществимость. В данной главе необходимо осветить значение этих терминов, определить, как они соотносятся друг с другом и насколько они существенны для общепринятой шкалы уровней.

Валидность - концептуальное понятие, рассматриваемое в «Компетенциях». Тест или оценочные мероприятия могут характеризоваться как валидные, если они (всем своим содержанием) оценивают действительно тот аспект, который они должны оценивать, и если результаты оценки с точностью определяют уровень владения языком тестируемых.

Надежность, наоборот, является техническим термином. Она означает степень совпадения результатов тестирования групп учащихся одного уровня в двух отдельных (реальных или смоделированных) случаях проведения одних и тех же мероприятий по оценке.

В действительности, более важным, чем надежность, является точность опреде­ления результатов оценки, выводимой в соответствии с принятыми стандартами. Если результатом оценки выступают заключения типа «зачет/незачет» или определение уровня - Уровень А2+/В1/В/1+, то насколько точными можно считать эти заключе­ния? Точность этих заключений будет зависеть от валидности самого стандарта (например, Уровень В1) для определенной ситуации. Также она будет зависеть от валидности критериев, используемых для принятия решения и валидности методов разработки этих критериев.

Если две разные организации или два региона используют критерии, относящиеся к одним стандартам, с целью оценить одни и те же умения, если сами стандарты валидны и соответствуют ситуациям и если стандарты последовательно используются при разработке оценочных заданий и при самой оценке выполнения этих заданий, то результаты в этих двух системах будут соотносимы друг с другом. Традиционно соотношение результатов двух тестов, направленных на оценку одного и того же, называется «совпадающая валидность». Это понятие, безусловно, связано с надежнос­тью, так как ненадежные тесты не будут соотноситься друг с другом. Однако, что является более важным - это степень общности между двумя тестами с точки зрения того, что оценивается и как оценивается выполнение заданий.

172

Именно эти два вопроса рассматриваются в «Общеевропейских компетенциях». Следующий раздел посвящен трем основным способам использования «Компетенций»:

Третий раздел данной главы иллюстрирует возможность выбора разных видов оценки. Возможные альтернативы представлены в форме противоположных пар. В каждом случае даются определения использованных терминов и обсуждаются преимущества и недостатки каждого вида с точки зрения целей оценки в определенном образовательном контексте. Приводится обоснование использования той или иной альтернативы. Затем раскрывается релевантность «Компетенций» для данного вида оценки.

Процедура оценки должна быть практически осуществимой. Осуществимость особенно важна при тестировании речевого поведения. Те, кто оценивают, ограничены во времени. Они имеют перед глазами лишь небольшой образец речевого поведения, и в их распоряжении находится ограниченное число категорий и их типов, которые могут использоваться в качестве критериев. В «Компетенциях» сделана попытка установить отметки условных уровней, но сама монография не является инструментом оценки. «Компетенции» всеобъемлющи, но пользующиеся ими должны быть избирательны. Избирательность может означать использование более простой операционной схемы, которая сокращает число категорий, рассмотренных в «Компетенциях» в отдельности. Например, категории, используемые в иллюстратив­ных шкалах дескрипторов, часто оказываются значительно проще по сравнению с категориями и языковыми примерами, приведенными в главах 4 и 5. В заключи­тельном разделе этой главы раскрывается данный вопрос и приводятся примеры.
9.2 Система уровней как инструмент оценки

9.2.1 Определение содержания тестов и экзаменов

Содержание главы «Использование языка и пользователь языком» и, в частности, раздел 4.4 «Виды коммуникативной деятельности» могут быть использованы в каче­стве справочного материала при определении заданий для коммуникативной оценки. Следует признать тот факт, что валидное тестирование требует отбора

целого ряда соответствующих типов дискурса. Например, недавно разработанный тест на говорение иллюстрирует это положение. Во-первых, предлагается смоделированная беседа (подготовительный этап); затем предлагается неформальное обсуждение актуальных проблем, к которым участник проявляет интерес. Затем следует фаза общения, которая принимает форму либо личной беседы, либо смоделированного телефонного разговора с целью получения какой-либо информации. Следующая фаза «порождение» основана на письменном докладе, в котором участник описывает свою учебную деятельность и планы. И, наконец, следует целенаправленное взаимодейст­вие, в результате выполнения этого задания участники приходят к единому мнению.

Итак, в «Компетенциях» используются следующие категории коммуникативной деятельности:

Интеракция, взаимодействие Порождение

(спонтанный обмен короткими фразами) (подготовленные, длинные фразы)

Раздел 5.2. «Коммуникативная языковая компетенция» дает информацию о составлении теста или фаз устного теста, нацеленного на проверку лингвистической, социолингвистической и прагматической компетенций. Описание содержания Порогового уровня, выпущенное Советом Европы для более чем 20 европейских языков (см. Библиографию после главы 5), а также Допорогового и Порогового Продвинутого уровней для английского языка и их эквиваленты, разработанные для других языков и уровней, являются дополнением к главному документу «Компетенций». В них можно найти более детальную информацию по составлению тестов для уровней А1, А2, В1 и В2.

Шкалы уровней являются источником для составления шкал оценки, определяю­щих уровень достижения определенной учебной цели, а дескрипторы могут помочь в формулировке критериев. Целью может являться овладение языком на одном из уровней (например, В1), предложенных в «Компетенциях». Ею также может быть набор определенных видов деятельности, умений и компетенций, как это представ­лено в разделе 6.1.4 «Различные подходы к целям обучения». Такая модульная цель может быть представлена в виде уровней в таблице категорий, так как это проиллюстрировано в таблице 2.

При обсуждении использования дескрипторов необходимо делать различие между:

1. дескрипторами коммуникативных действий, которые представлены в главе 4;

2. дескрипторами аспектов владения языком, относящимися к определенным компетенциям, которые представлены в главе 5.

174

Первые могут успешно использоваться для оценки учителем или самооценки, при выполнении реальных заданий. Такая оценка, осуществляемая учителем, или самооценка делается на основе детальной картины способностей ученика в изучаемом языке, составляемой на протяжении всего рассматриваемого курса обучения. Эти виды оценок привлекательны как для учителя, так и для ученика, так как способствуют использованию деятельностного подхода.

Однако не всегда желательно включать дескрипторы коммуникативной деятельности в критерии оценки для того, чтобы оценить конкретный устный или письменный тест, для определения результатов в терминах достигнутого уровня владения языком. Это происходит потому, что при определении уровня владения языком оценка не должна выводиться лишь на основе одного конкретного теста. Необходимо пытаться оценить поддающиеся обобщению компетенции, выявленные в этом тесте. Конечно, могут быть веские причины для придания особой важности какому-то определенному заданию, особенно на начальном этапе (уровни Al; A2). Такие результаты не будут представлять общей картины, но на начальных этапах обучения в ней нет необходимости.

Это подтверждает тот факт, что оценка может выполнять множество различных функций. То, что является приемлемым для одних оценочных целей, может не подходить для других.

1. Составление: как было показано ранее в разделе 9.2.1., шкалы по видам коммуникативной деятельности могут помочь при разработке и составлении оценочных заданий.

2. Сообщение о результатах: шкалы по видам коммуникативной деятельности также могут применяться при сообщении результатов. Потребители продукции образовательной системы, например, работодатели, часто более заинтересованы в общих результатах, нежели в детальных параметрах компетенции.

3. Само- или учительская оценка: дескрипторы по видам коммуникативной деятельности могут использоваться для само- или учительской оценки в разных видах, как например:

• Листки контроля: для промежуточной или суммарной оценки в конце курса. Перечисляются дескрипторы какого-либо уровня. В качестве альтернативы дескрипторы могут быть развернуты. Например, дескриптор «Я умею запросить и предоставить о себе информацию личного характера» может быть развернут в виде подразумеваемых составляющих: «Я могу представить себя; сказать, где я живу, сказать свой адрес по-французски; сообщить, сколько мне лет; спросить кого-нибудь как его зовут, где он живет, сколько ему лет и т.д.»

• Таблица: для промежуточной и суммарной оценки, помещая рейтинговые параметры в сетку выбранных категорий (например, разговор, обсужде­ние, обмен информацией), определенных для разных уровней (В1+, В2, В2+).

Использование дескрипторов именно таким образом стало более типичным в последние 10 лет. Опыт показал, что учителя и ученики обращаются к дескрипторам чаще, если дескрипторы описывают не только, ЧТО ученик может делать, но и НАСКОЛЬКО ХОРОШО он это делает.

Существует два основных способа использования дескрипторов аспектов владения языком относительно поставленных целей.

2. Оценка речевого поведения: Применение шкал с дескрипторами разных аспектов компетенции более четко отражено в главе 5, где предлагаются точки отсчета для разработки критериев оценки. Превращая разрозненные личные впечатления в продуманные суждения, такие дескрипторы помогают разработать общую систему отсчета для группы оценивающих.

Существует три основных способа использования дескрипторов в качестве критериев оценки:

• Во-первых, дескрипторы могут быть представлены в виде шкалы, часто объединяющей дескрипторы личных категорий в один единый параграф опи­сания соответствующего уровня. Это очень типичный подход.

• Во-вторых, они могут быть представлены в форме листов контроля, обычно каждому уровню соответствует один контрольный лист, при этом дескрип­торы часто группируются по рубрикам, то есть по категориям. Контрольные листы реже используются для непосредственной оценки.

• В-третьих, они могут быть представлены в форме таблицы отобранных кате­горий, т.е. как параллельные шкалы отдельных категорий. Этот подход дает возможность определить уровень владения языком учащегося в разрезе. Одна­ко, оценивающие могут работать лишь с ограниченным числом категорий.

Существует два существенно различных подхода к разработке таблицы подшкал:

• Шкала владения языком предоставляет сетку параметров, определяющих соответствующие уровни по категориям, например, с уровня А2 до уровня В2. В этом случае оценка делается в рамках этих уровней, при использовании дальнейших уточнений, как, например, еще одной цифры или плюса, если необходима более точная дифференциация. Так, если тест, определяющий уровень владения языком, был рассчитан на Уровень В1, и по его результатам никто из учеников не достиг Уровня В2, становится возможным оценить уровень более сильных учеников как В1+, В1++ или В1.8.

• Экзаменационная шкала оценки выбирает или выделяет дескриптор для каждой соответствующей категории, которая определяет требуемый проходной балл или норму модуля или экзамена по этой категории. В таком случае этот дескриптор получает обозначение «удовлетворительно» или «3», и шкала опирается на эту норму (очень слабый результат = «1», отличный результат = «5»). Решение об оценке «1» и «5» принимается при соотнесении с другими дескрипторами смежных уровней шкалы из соответствующего раздела главы 5; или же формулировка дескриптора может быть сделана на основе описания дескриптора «3».

Общепринятые справочные шкалы уровней имеют своей целью облегчить описа­ние достигнутого уровня владения языком, определяемого посредством существую­щих квалификационных экзаменов, и, таким образом, содействовать сравнению данных систем. В работах, посвященных способам оценки, различают пять классиче­ских способов соединения разрозненных оценок: (1) уравнивание; (2) градуирование; (3) статистическая регуляция; (4) установка уровня и (5) социальная регуляция.

Первые три метода являются традиционными: (1) предоставление альтернативных версий одного теста (уравнивание), (2) отображение результатов разных тестов на одной шкале (градуирование) и (3) поправки на сложность тестов и строгость экзаменаторов (статистическая регуляция).

Последние два метода предполагают выстраивание общей картины посредством дискуссии (социальная регуляция) и сравнение образцов работ со стандартизи­рованными определениями и примерами (установка уровня). Одна из целей создания «Компетенций» состоит в том, чтобы способствовать процессу достижения общей картины. Именно в силу этого шкалы дескрипторов, используемые для данной цели, были стандартизированы с применением строгой методологии. В системе образова­ния данный подход все чаще описывается как оценка, ориентированная на стандарты. Общепризнанно, что применение такого подхода к оценке занимает время, так как, чтобы понять значение стандарта, партнерам необходимо использование примеров и обмен мнениями.

Можно поспорить с тем, что этот подход является наилучшим методом соедине­ния оценок, потому что он основан на достижении и подтверждении общей точки зрения по данному вопросу. Основной причиной того, почему сложно связывать оценки владения языком, несмотря на большие возможности статистики и традицион­ных технологий, является то, что оценивание, как правило, тестирует радикально раз­ные вещи, даже если они предполагают охватить одну и ту же область. Это происхо­дит частично из-за (а) недостаточной концептуализации и недостатка практики таких мероприятий, и частично из-за (б) смежной интерференции метода тестирования.

В «Компетенциях» делается попытка решения первой и основной проблемы в современном обучении языку в Европе. В главах с 4 по 7 детально разрабатывается дескриптивная схема, практически концептуализирующая использование языка, компетенции и процесс обучения и изучения языка, что поможет воздействовать на коммуникативные способности в языке, чему и призвана способствовать данная монография.

Шкалы дескрипторов составляют концептуальную таблицу (сетку), которая может быть использована:

а) для сопоставления национальной шкалы и шкалы учебного заведения друг с другом посредством общепринятой шкалы в «Компетенциях»;

б) для формулирования целей определенных экзаменов и разделов учебных курсов с использованием категорий и уровней шкал.

В Приложении А читателям предлагается обзор методов разработки шкал дескрипторов и в их соотнесение с «Компетенциями».

В практическом руководстве для экзаменаторов, изданном ALTE (Document CC-Lang (96) 10 rev), даются подробные советы по применению данных построений в тестах и предупреждению излишнего искажения результатов под действием метода, применяемого при составлении теста.

Следует выделить ряд важных особенностей оценки. Предлагаемый ниже перечень ни в коей мере не является исчерпывающим. Место термина в списке характеристик (левая или правая колонка) не имеет значения.

Оценка усвоения - это оценка выполнения определенных заданий, оценка того, чему обучали. Следовательно, она относится к работе в течение недели/семестра, к учебнику, к программе курса обучения. Оценка усвоения ориентирована на курс обучения. Она представляет внутреннюю перспективу.

Оценка владения - это оценка умений практического использования языка. Она представляет внешнюю перспективу.

Среди преподавателей существует тенденция быть более заинтересованным в оценке усвоения как реакции на процесс обучения. Работодатели, администраторы сферы образования и взрослые учащиеся более заинтересованы в оценке владения - в оценке результатов того, что человек научился делать. Преимуществом оценки

усвоения является то, что такой подход близок к опыту ученика. Преимуществом оценки владения является то, что при таком подходе каждый может видеть, чего он достиг. Результаты в этом случае очевидны.

В коммуникативном тестировании при обучении и изучении, ориентированном на потребности учащегося, различие между усвоением (направленным на усвоение курса) и владением (ориентированным на спектр реальных способностей) должно быть минимальным. Проверяя практическое использование языка в соответствующих ситуациях и предлагая сбалансированную картину формирующейся компетенций, оценка усвоения одновременно тестирует и владение языком. Оценка владения также заключает в себе элемент оценки усвоения в той мере, в которой она содержит языковые и коммуникативные задания в соответствии с программой обучения, которая дает учащемуся возможность показать, чего он достиг, что он усвоил.

Шкалы иллюстративных дескрипторов относятся к оценке владения - спектр реальных способностей. Важность проверки усвоения с точки зрения эффективности процесса изучения языка обсуждается в главе 6.

Соотнесение с нормами может производиться относительно класса в целом (ты -18-й), демографической группы (ты 21,567-й; ты входишь в 14% лучших) или группы тестируемых учащихся. В последнем случае полученные результаты теста могут быть обработаны для получения «справедливого» результата путем их сопоставления с результатами предыдущего года, что позволит создать единый стандарт и ежегодно поддерживать одинаковый процент учащихся с отличной оценкой вне зависимости от сложности теста или их способностей. Данная оценка может служить основанием для формирования класса/группы.

Соотнесение с критериями подразумевает объединение спектра владения (верти­каль) и ряда соответствующих областей (горизонталь) таким образом, что результаты теста могут быть оценены в соответствии со всеми критериями. Это включает (а) определение соответствующей области (областей), охваченных определенным тестом/модулем, и (б) идентификацию «пропущенных пунктов»: набранные в резуль­тате теста очки необходимы, чтобы установить соответствие принятому стандарту владения.

Шкалы иллюстративных дескрипторов составлены из критериев для категорий, содержащихся в описательной схеме. Общепринятая система уровней представляет набор общих стандартов.

Критериально соотнесенная оценка владения - это такой подход, при котором один «стандарт минимальной компетенции» или «пропущенный пункт» направлен на дифференциацию учащихся на «овладевших» и «не овладевших» без учета качества достижения конкретной цели.

Критериально соотнесенная спектр-оценка - это подход, который определяет индивидуальные способности учащегося, учитывая все уровни способностей, установленные для выполнения данного задания.

В действительности существует много подходов, использующих соотнесение с критериями, но большинство из них можно объединить под названиями «владение языком» или «спектр». Много недоразумений возникает из-за того, что соотнесение с критериями включается только в оценку владения. Оценка владения - это оценка усвоения, связанная с содержанием курса / модуля. Она в меньшей степени рассмат­ривает этот модуль (и достижения в нем) с точки зрения спектра владения.

Альтернативой оценке владения, соотнесенной с критериями, является сопостав­ление результатов каждого теста с соответствующим спектром уровня владения, в результате чего обычно выставляется оценка. При таком подходе спектр является «критерием», внешней реальностью, подтверждающей, что результаты теста имеют значение. Соотнесение с этим внешним критерием может быть предпринято с помощью скалярного анализа (модель Раша), сопоставляя результаты разных тестов и перенося результаты на общепринятую шкалу.

«Компетенции» могут применяться в обоих случаях (соотнесенность владения и спектр-соотнесенность). Шкала уровней, используемая при спектр-подходе, совпа­дает с общепринятой системой уровней; цель, поставленная в подходе с точки зрения владения может быть отражена в концептуальной сетке категорий и уровней, предложенной «Компетенциями».
9.3.4 Промежуточная оценка/Итоговая оценка

Промежуточная оценка - оценка работы в классе, заданий и проектов, осуществ­ляемая учителем и, если возможно, учеником в течение курса обучения. Таким образом, выставляемая конечная оценка отражает работу в течение целого курса /года/ семестра.

Итоговая оценка выводится на основе результатов экзамена или другого вида контроля, происходящего в какой-то определенный день, обычно в конце курса или перед началом нового курса. Предыдущие оценки не имеют значения. Важным является то, что учащийся умеет делать на изучаемом языке.

Оценка часто рассматривается как нечто, находящееся вне пределов курса, происходит в какой-то определенный момент с целью принятия какого-либо решения. Промежуточная оценка подразумевает оценивание в рамках курса, которое совокупно дополняет итоговое оценивание. Кроме оценивания домашних заданий и регулярных кратких проверочных работ, способствующих дальнейшему обучению, промежуточ­ная оценка может осуществляться в виде конкретных листков/таблиц, заполняемых учителем или учениками, оценки серии заданий, формального оценивания курсовых работ и /или папки образцов работ, выполненных в разное время и на разных этапах завершенности.

Оба подхода имеют свои преимущества и недостатки. Итоговая оценка подтверж­дает, что учащиеся способны справляться с заданиями по материалу, пройденному, возможно, два года назад. Но она травмирует одних учеников и, наоборот, выгодна для других. Промежуточная оценка больше принимает во внимание творческие и другие усилия ученика, но в значительной степени зависит от объективности учителя. При чрезмерном использовании она может превратить жизнь учеников в один бесконечный тест и стать бюрократическим кошмаром для учителя.

180

Для промежуточной оценки могут применяться контрольные листки критериев, описывающих способности учеников в коммуникативной деятельности (глава 4). Оценочные шкалы, разработанные для различных составляющих компетенции (глава 5), могут быть использованы при выставлении оценок при итогом оценивании.

Формативная оценка - это постоянный процесс сбора информации об изучении языка учащимися, их сильных и слабых сторонах. Эту информацию учитель может использовать для дальнейшего планирования курса, а также при обсуждении с учени­ками результатов их достижений. Понятие формативной оценки часто трактуется широко и включает данные, полученные в ходе анкетирования и которые не поддаются количественному измерению.

Суммарная оценка выставляется в конце курса. Это не обязательно оценка уровня владения. В действительности большая часть суммарного контроля включает элементы оценки по успеваемости, итоговой оценки и оценки усвоения материала.

Сильная сторона формативной оценки заключается в том, что ее целью является улучшение качества учебного процесса. Ее слабая сторона может заключаться в характере обратной связи. Обратная связь имеет значение только в том случае, если реципиент в состоянии (а) замечать, то есть он достаточно внимателен, мотивирован и знаком с формой подачи информации; (б) получать информацию, то есть он не перегружен информацией, способен ее принимать, систематизировать и персонализи­ровать; (в) интерпретировать, то есть он обладает достаточными исходными знания­ми и языковым чутьем, позволяющими ему понять, о чем идет речь, и не предпри­нимать никаких действий, ухудшающих положение; (г) интегрировать информацию, то есть у него есть время, адекватная ориентация и соответствующие способности, чтобы поразмыслить над новой информацией, собрать ее в единое целое и запомнить. Это предполагает умение ориентироваться самостоятельно и, соответственно, обуче­ние этому умению, контроль над своей учебой, развитие умения обратной реакции.

Такая тренировка учащегося или развитие сознательного отношения получили название формирования оценочных умений. Для этого могут применяться разные методы. Основной принцип - сравнение представлений (например, ваши ответы в контрольном листке о том, что вы умеете делать на изучаемом языке) с реальностью (например, реальное прослушивание материала, упомянутого в контрольном листке, и его понимание). Так соотносят самооценку и выполнение заданий теста в системе DIALANG. Другим важным методом является обсуждение образцов работ - как нейтральных примеров, так и реальных работ учеников - и поощрение развития у них личного метаязыка относительно аспектов качества. Они также могут использовать этот метаязык для контроля над слабыми и сильными сторонами своей работы и для формулировки своих учебных задач.

Формативная или диагностическая оценка применяется в основном для проверки языковых вопросов или умений, которые только что были пройдены или приобретены или будут изучаться/овладеваться в скором времени. Перечни экспонентов, приведен­ные в разделе 5.2, являются слишком общими для практического применения, их необходимо соотносить с конкретными уровнями («Допороговый», «Пороговый» и т.д.). Однако таблицы дескрипторов, определяющих аспекты компетенций на разных уровнях (глава 4), могут быть полезны при обсуждении формативной оценки говорения.

Система уровней наиболее пригодна для суммарной оценки. Однако, как показывает проект DIALANG, обратная связь даже при суммарной оценке может быть диагностирующей и, как следствие, формативной.

Непосредственная оценка - это оценка того, чем конкретно занимается учащийся. Например, небольшая группа что-то обсуждает, оценивающий наблюдает, сравнивает с таблицей, сопоставляет действия с соответствующими категориями и дает оценку.

При косвенной оценке используется тест, обычно письменный, с помощью которого осуществляется контроль умений, обеспечивающих процесс общения.

Непосредственная оценка фактически ограничена говорением, письмом и аудиро­ванием, так как восприятие невозможно видеть непосредственно. Например, чтение может быть оценено только косвенно, посредством заданий, демонстрирующих понимание (например, отметьте галочкой верные утверждения, закончите предложе­ния, ответьте на вопросы и др). Лингвистический диапазон и владение языковыми средствами могут быть оценены либо непосредственно, через сопоставление с критериями, либо косвенно, через интерпретацию и обобщение ответов на вопросы теста. Классический тест непосредственной оценки - интервью, традиционный тест косвенной оценки - тест на восстановление смысла.

Дескрипторы, определяющие различные аспекты компетенций на разных уров­нях, представленные в главе 5, могут использоваться для разработки оценочных критериев для тестов непосредственной оценки. Параметры главы 4 могут предло­жить выбор тем, текстов и тестовых заданий для тестов непосредственной оценки, нацеленных на проверку продуктивных умений, и тестов косвенной оценки на аудирование и чтение. Параметры главы 5 определяют также ключевые лингвистиче­ские компетенции, которые могут быть включены в косвенный тест языковых знаний, и основных прагматических, социолингвистических и лингвистических ком­петенций, которые могут применяться при формулировке вопросов теста на проверку четырех умений.
9.3.7 Оценка речевого поведения/Оценка лингвистической компетенции (знаний)

При оценке речевого поведения от учащегося требуется непосредственно проде­монстрировать умение практически пользоваться языком в устной и письменной форме.

При оценке лингвистической компетенции (знаний) от учащегося требуется уме­ние ответить на вопросы по различным темам для установления его лингвистических знаний и владения этими знаниями.

К сожалению, с помощью теста нельзя непосредственно проверить компетенции. Единственное, что можно проверить, это ряд показателей речевого поведения, по которым можно составить общую характеристику владения языком. Владение языком можно рассматривать как компетенцию в действии. В этом смысле все тесты прове­ряют только речевое поведение, хотя по его показателям можно сделать выводы о компетенции.

Однако, интервью требует «речевого поведения» в большей степени, нежели заполнение пропусков в предложении, а, в свою очередь, заполнение пропусков
182

предполагает «речевое поведение» в большей степени, чем тест множественного выбора. В этот смысле «речевое поведение» означает продуктивное использование языка. Но известно и более узкое значение этого выражения, как, например, «тест речевого поведения». В данном случае это слово обозначает использование языка в (относительно) аутентичной ситуации, часто в ситуации, связанной с работой или учебой. В несколько более широком смысле термин «оценка речевого поведения» может обозначать устный тест, требующий использования разных стилей дискурса, соотносящихся с контекстом обучения и потребностями учащихся, и по результатам которого делаются заключения об уровне владения языком. Некоторые тесты уравнивают оценку речевого поведения с оценкой знания языка как системы, другие этого не делают.

Это различие сходно с различием между тестами непосредственной и косвенной оценки. В этом случае «Компетенции» могут использоваться таким же образом. Спецификации, разработанные Советом Европы для разных уровней («Допорого-вый», «Пороговый,» «Пороговый Продвинутый»), дополнительно предлагают более подробную информацию о знании изучаемого языка на тех языках, на которых эти монографии существуют.
9.3.8 Субъективная оценка/Объективная оценка

Субъективная оценка - это суждение оценивающего о качестве речевого поведе­ния учащегося.

Объективная оценка - это оценка, при которой устраняется субъективность. Обычно под этим подразумевается тест косвенной оценки, например, тесты выбора из множества предлагаемых вариантов.

Однако, вопрос об объективности/субъективности является значительно более сложным.

Тест косвенной оценки обычно считается «объективным тестом», когда прове­ряющий имеет соответствующие ключи, принимает решение о признании ответа правильным или неправильным, а затем подсчитывает количество правильных ответов и выводит результат. Некоторые тесты идут дальше - в них допускается лишь один правильный ответ на каждый вопрос (тест множественного выбора и разрабо­танные на основе восстановления смысла тесты), при их проверке часто применяется машина, чтобы избежать ошибок проверяющего. На самом деле объективность «объективных» тестов преувеличена, так как кто-то принимает решение о применении методик, имеющих повышенный контроль над тестированием (а это само по себе субъективное решение, которое могло бы вызвать несогласие остальных). Кто-то написал определение такого теста, и затем кто-то еще, вероятно, написал вопрос, пытаясь сделать действенным какой-либо пункт в определении. И, наконец, кто-то выбрал этот вопрос из множества других для данного теста. Поскольку все эти решения принимались субъективно, то, возможно, данные тесты следует называть объективно-оцениваемыми тестами.

В тестах непосредственной оценки результаты обычно выводятся на основе общего заключения. Это означает, что решение о том, насколько хорошо ответил учащийся, субъективно учитывает соответствующие факторы и опирается на инструкции, критерии и опыт. Преимущество субъективного подхода состоит в том, что язык и коммуникация очень сложны и не поддаются дроблению, они представляют собой нечто большее, чем простая сумма составляющих их частей.

Часто бывает непросто установить, что именно проверяет данный тест. Тем не менее, нацеливание вопросов теста на проверку определенных аспектов компетенции или речевого поведения гораздо менее прямолинейно, чем может показаться.

Однако, справедливости ради, оценка должна быть предельно объективной. Влияние собственных оценочных суждений в субъективных решениях при выборе содержания и оценке качества исполнения должно быть минимальным, особенно если речь идет о суммарной оценке. Это должно быть сделано еще и потому, что результаты тестов часто используются третьими лицами, определяющими будущее тестируемых.

Субъективность оценки можно снизить и тем самым повысить валидность и надежность теста за счет последовательного выполнения ниже перечисленных рекомендаций:

• разработать спецификацию содержания оценочного материала, например, основанную на системе точек отсчета, общепринятой для данного контекста;

• использовать совместные решения по поводу выбора материала и / или при оценке;

• применять стандартные формы и способы оценки;

• предоставить единые ответы-ключи для косвенных тестов и основывать свои решения при оценке непосредственных тестов на установленных конкретных критериях;

• требовать многократности вынесения суждений и учета разнообразных факторов;

• пройти соответствующее обучение основам оценивания;

• проверять качество процесса оценки (валидность, надежность) с помощью анализа оценочного материала.

Как было отмечено в начале главы, первый шаг к снижению субъективности суждений на любом этапе процесса оценки заключается в достижении общего понимания рассматриваемой концепции, общепринятой системе точек отсчета. «Ком­петенции» предлагают основы для спецификации содержания и разработки конкрет­ных критериев для непосредственных тестов.

При определении уровня учащегося по шкале уровней акцент делается на определении места учащегося по отношению к набору уровней. Акцент этот вертикален: как высоко он продвинулся по шкале уровней? Значение каждого уровня раскрывается в дескрипторах. Может существовать несколько шкал для разных категорий, они могут быть представлены на одной странице в виде таблицы или на разных страницах. Определение может даваться каждому уровню или каждому второ­му уровню, или верхнему, нижнему и среднему. Альтернативу уровням представляет листок контроля, цель которого показать, какая часть материала пройдена

учащимся,то есть акцент горизонтальный: изучение какой части материала модуля успешно завершено? Листок контроля может иметь вид анкеты - представлять собой ряд вопросов. Иногда он может иметь вид круговой диаграммы или какой-либо иной. Ответами могут служить «Да» и «Нет». Могут требоваться более развернутые, многоступенчатые ответы (например, 0-4), при этом ступени имеют обозначения с определениями, в которых объясняется, как следует понимать эти обозначения.

Поскольку иллюстративные дескрипторы представляют собой калиброванные формулировки для определения уровня, они могут быть использованы для составления листков контроля соответствующего уровня, как в некоторых версиях Языкового портфеля, и для оценочных шкал или таблиц, охватывающих все уровни, как представлено в главе 3, для самооценки (Таблица 2), экзаменационной оценки (Таблица 3).
9.3.10 Оценка-впечатление/Направленное суждение

Оценка-впечатление - это полностью субъективное суждение, получаемое на основе речевого поведения ученика на занятиях, без учета специфических критериев определенного типа оценки.

Направленное суждение - это суждение, при котором субъективность уменьшена за счет того, что впечатление дополняется сознательной оценкой своего субъективного мнения на основе определенных критериев.

Оценка-впечатление подразумевает в данном контексте ситуацию, когда учитель или ученик руководствуются в оценке исключительно опытом речевого поведения в классе, при выполнении домашнего задания и т.д. Множество форм субъективного оценивания, особенно при промежуточной оценке, включают основанную на размыш­лении или воспоминаниях оценку впечатлений, полученных в результате сознатель­ного наблюдения за успехами ученика в течение какого-то периода времени. Большое количество школьных систем действуют по этому принципу.

Термин «направленное суждение» использован здесь для описания ситуации, в которой впечатления в ходе оценки переходят в обдуманные заключения. Такой подход подразумевает (а) какую-либо процедуру оценивания, и/или (б) ряд опре­деленных критериев выставления оценок, и (в) какую-либо форму стандартного обучения оцениванию. Преимущество такого подхода состоит в том, что при исполь­зовании единых критериев оценки группой учителей радикально повышается логич­ность выставления оценок, особенно если отметки уровней представлены в форме образцов выполненных заданий и четких соответствий с уровнями других систем. Важность таких указаний подчеркивает тот факт, что, как показали исследования в ряде дисциплин, пренебрежение стандартизированным оцениванием ведет к тому, что результаты оценки будут зависеть от строгости учителя и от воли случая, неверно отражая уровень знаний учащегося.

Шкалы дескрипторов для общепринятой системы уровней могут быть использованы с целью предоставления определенных критериев, упомянутых выше в пункте (б), или соотнесения стандартов, указанных этими критериями в терминах общепринятых уровней. В дальнейшем, для стандартизации оценки, в помощь учителям будут предоставлены образцы выполненных заданий для разных уровней общепринятой системы.

При аналитической оценке каждый аспект рассматривается отдельно.

Существует два способа провести это различие: (а) в зависимости от того, какая цель преследуется; (б) в зависимости от способа выставления оценки. В отдельных системах сочетают применение аналитического подхода на одном уровне с приме­нением общего подхода на другом уровне.

а) Что оценивать: В некоторых подходах оцениваются такие глобальные категории, как «говорение» или «взаимодействие», при этом выставляется единая оценка или балл. В других, чаще аналитических подходах, от учителя требуются отдельные оценки каждого аспекта. Иногда учитель отмечает общее впечатление, сопоставляет его с категориями и приходит к обоснован­ной общей оценке. Преимущество отдельных категорий аналитического подхода состоит в том, что они побуждают учителя к более пристальным наблюдениям. Они предлагают оценивающим использование метаязыка для обсуждения результатов и обратной связи с учениками. Недостатком, как показывает практика, является то, что в силу обилия данных оценивающему трудно рассматривать категории отдельно от общей оценки. Он может также столкнуться с перегрузкой информацией при необходимости работать с более чем 4 или 5 категориями.

б) Подсчет результатов: В некоторых подходах путем обобщения качество выполнения заданий согласовывается с дескрипторами на оценочной шкале независимо от того, является ли эта шкала общей (единой глобальной шкалой) или аналитической (3-6 категорий в таблице). В таких подходах отсутствуют арифметические подсчеты. Результаты сообщаются в виде единой оценки или подобно «телефонному номеру» по категориям. В других, чаще аналитиче­ских подходах, требуется выставить оценки по каждому пункту и затем, сложив результаты, вывести общий балл, который будет преобразован в оценку. Такому подходу свойственно то, что не все категории позволяют выставить одинаковое количество баллов.

В таблицах 2 и 3 в главе 3 предлагаются примеры самооценки и экзаменационной оценки аналитического типа (по сетке критериев) и общего (сопоставление впечат­лений от ответа с дефинициями и на этой основе выведение оценки соответственно).

Категориальная оценка выставляется по итогам выполнения одного оценочного задания (которое может состоять из нескольких фаз, направленных на разные виды дискурса, как это описано в разделе 9.2.1), в котором речевое поведение оценивается в соответствии с категориями, данными в таблице оценки (аналитический подход, рассмотренный в разделе 9.3.11).

Серийная оценка базируется на серии изолированных оценочных заданий (ролевые игры с участием других учеников или учителя), выполнение которых оценивается простой общей оценкой по шкале, например, 0-3 или 1-4.

Серийная оценка помогает выведению категориальной оценки, так как результаты в одной категории влияют на результаты в другой. На более низких ступенях

обучения основной акцент делается на выполнении задания, цель состоит в заполнении листка контроля с указанием того, что ученик умеет делать по мнению учителя или по собственной оценке, но не ограничиваясь лишь впечатлениями. На более высоких уровнях задания могут быть разработаны с целью выявить опреде­ленные аспекты уровня владения на основании речевого поведения. Результаты представляются в виде профиля умений.

Шкалы для разных категорий коммуникативной компетенции, сопоставленные с содержанием главы 5, предлагают материал для разработки критериев категориаль­ной оценки. Так как оценивающие могут справиться лишь с ограниченным числом категорий, необходимо искать компромиссные решения в процессе оценивания. Описание основных видов коммуникативной деятельности в разделе 4.4 и перечень различных типов функциональной компетенции в разделе 5.2.3.2 могут служить справочным материалом для выбора заданий, подходящих для серийной оценки.
9.3.13 Внешняя оценка/Самооценка

Внешняя оценка - это оценка, которую выводит учитель или экзаменатор.

Самооценка - это оценка учащимся собственного уровня владения изучаемым языком.

Учащиеся могут воспользоваться любой из описанных выше методик оценки. Результаты исследований показывают, что если оценка не является «жизненно важной» (например, влияющей на решение о зачислении на курс), самооценка может успешно применяться в дополнение к тестам и оценке учителя. Правильность самооценки повышается (а) когда она опирается на четко описанные дескрипторы, определяющие стандарты владения языком, (б) когда оценка связана с определенным опытом. Такой опыт может быть даже тестом. Оценка будет также более точной, если учеников обучают самооценке. Такая структурированная самооценка может оказаться связанной с внешней оценкой учителя и оценкой теста, что эквивалентно согласованной оценке, устанавливаемой между учителями, между тестами, между тестами и учительской оценкой (совпадающая валидность).

Однако главное свойство самооценки заключается в повышении мотивации учащегося и его сознательного отношения к изучению языка: она помогает ученикам оценить свои сильные стороны, узнать свои слабые стороны и скорректировать свою учебную деятельность.

187

Рекомендуется проанализировать и сделать выводы по следующим вопросам: • какой из перечисленных выше типов оценки • в большей степени отвечает потребностям учащихся конкретной группы; • в большей степени соответствует конкретной педагогической системе; • является более эффективным для совершенствования работы учителя; • насколько скоординированы оценка выполнения учащимся конкретного задания (в рамках школьного обучения) и оценка его речевого поведения (ориентирован­ного на достижение результата в реальных жизненных ситуациях) в данной системе, и насколько хорошо оцениваются коммуникативные умения и языковые навыки; • насколько хорошо оцениваются результаты обучения в соотнесении с опреде­ленными стандартами и критериями (соотнесенность с критериями), и насколько полно оценки и баллы соответствуют уровню, на котором находится ученик (соотнесенность с нормами); • в какой степени учителя: • информированы о существующих стандартах (например, общепринятых дескрипторов, образцах выполнения заданий); • получают поддержку для ознакомления с существующими метаязыками оценки; • обучаются методикам оценки; • насколько необходимо и возможно развивать интегрированный подход к промежуточному оцениванию работы учеников на протяэ/сении курса обучения и итоговому оцениванию в соответствии с нормами и критериями; • насколько необходимо и возможно привлекать учеников к самооценке в соответствии с общепринятыми дескрипторами заданий и аспектов владения языком на разных уровнях, и насколько эффективны эти дескрипторы, например, при серийной оценке; • насколько спецификации и шкалы, предлагаемые «Компетенциями», соотно­сятся с их контекстом, и каковы пути их дополнения и дальнейшей разработки.

Самооценка и экзаменационные версии оценочных таблиц представлены в Таблицах 2 и 3 главы 3. Наиболее заметное различие между ними, помимо их внешних формулировок, как, например, Я умею... или Умею, состоит в том, что в Таблице 2 концентрируется внимание на видах коммуникативной деятельности, в то время как в Таблице 3 выделяются характерные аспекты компетенции, обнаруживаю­щиеся в речевом виде говорения. Однако, может быть выработана несколько более упрощенная версия самооценки самостоятельно по Таблице 3. Опыт показывает, что по крайней мере взрослые учащиеся могут делать качественную оценку своей компетенции.

Шкалы, помещенные главах 4 и 5, представляют примеры ряда категорий, упрощенных по сравнению с теми, которые более подробно описаны в тексте глав 4 и 5. Нет необходимости использования всех шкал на всех уровнях при практическом их применении. Учителям трудно одновременно работать со всеми категориями, и в

конкретной ситуации полный перечень уровней может быть излишним. Предпочти­тельнее использовать набор шкал в качестве справочного материала.

Какой бы подход ни был принят, в любой практической системе возможные категории должны быть сокращены до приемлемого количества. Здравый смысл подсказывает, что при четырех-пяти категориях наступает когнитивная перегрузка, а семь категорий - это верхний психологический предел. Таким образом, необходим выбор. В отношении устной оценки, если стратегии общения рассматриваются как значимый качественный аспект коммуникации, иллюстративная система шкал содержит 12 качественных категорий, важных для устной оценки:

Стратегии ведения диалога

Стратегии сотрудничества

Просьба разъяснить

Беглость

Гибкость

Смысловая связность

Развитие темы

Точность

Социолингвистическая компетенция

Общий диапазон устной речи

Объем словаря

Грамматическая правильность

Осознанный выбор словаря

Контроль фонетических навыков
Очевидно, что при том, что многие их этих категорий могли быть включены в общий лист контроля, 12 категорий - слишком много для оценки любого речевого поведения. Таким образом, на практике такой список категорий требует избиратель­ного подхода. Категории можно комбинировать, переименовывать и сокращать их количество в зависимости от потребностей конкретных учеников, требований оценоч­ной задачи и определенной педагогической традиции. Полученный в результате критерий будет также значимым, он может фокусировать внимание на каких-то определенных факторах, исходя из конкретной задачи.

Следующие четыре примера показывают возможные пути решения данной зада­чи. Первые три кратко иллюстрируют, как категории уровней соотносятся с крите­риями тестов в существующих подходах к оценке. Четвертый пример демонстрирует, каким образом дескрипторы шкал «Компетенций» сводились воедино и переформу­лировались для того, чтобы разработать оценочную таблицу для определенной цели и определенного случая.

Кембриджский экзамен. Продвинутый уровень владения английским языком.

Международная конференция по сертификации (МКС) - сертификат делового английского, тест 2 «Деловое общение» (1987)

Евроцентр - Оценка взаимодействия в малых группах (RADIO) (1987)

Швейцарский национальный совет по исследованиям: Оценка речевого поведения на видеоматериалах.

Контекст: Дескрипторы, представленные в Приложении, разрабатывались в Швейцарском проекте. В завершение проекта учителя-участники были приглашены принять участие в конференции, чтобы представить там результаты и начать эксперименты с Европейским языковым портфелем в Швейцарии. На конференции предметом дискуссии были (а) необходимость связать материалы листков контроля по промежуточной оценке и самооценке с общепринятой системой уровней, и (б) способы применения дескрипторов в разного вида оценке. В частности, была оценена работа учеников в видеозаписи с применением оценочной Таблицы 3, данной в главе 3. Ниже представлена отредактированная сводная подборка дескрипторов.

Критерии теста	Шкалы в Приложении	Другие категории
Общий диапазон	Общий диапазон Объем словаря
Грамматическая точность	Грамматическая правильность Осознанный выбор словаря
Беглость речи	Беглость речи
Взаимодействие	Общие параметры диалога Стратегии ведения диалога Стратегии сотрудничества
Смысловая связность	Смысловая связность

В зависимости от образовательной системы, учебной ситуации и состава группы учащихся эти категории отбираются, упрощаются и комбинируются для разного вида оценки. Данный перечень из 12 категорий, будучи уже достаточно длинным, не в состоянии учесть все возможные варианты сочетания и должен быть расширен, чтобы приобрести исчерпывающий характер.