Общеевропейские компетенции владения иностранным языком: Изучение, обучение, оценка
жүктеу/скачать 2.61 Mb.
|
- Бұл бет үшін навигация:
- Позитивная формулировка Отрицательная формулировка
- Автономность
- Методы разработки шкал
- Начиная
- Интуитивные методы
- Качественные методы
- Количественные методы
199 Schweizerische Konferenz der kantonalen Erziehungsdirektoren EDK(1995) Mehrsprachiges Land-mehrsprachige Schulen. 7. Schweizerisches Forum Langue 2. Dossier 33. Bern, EDK. Vigner, G (ed.) (1996) 'Promotion, reforme des langues et systèmes éducatifs'. Etudes de linguistique appliquée, 103. *Wilkins, D. (1987) The educational value of foreign language learning. Doc. CC-GP(87)10. Strasbourg, Council of Europe. Wilkins, D.A. (1976) Notional syllabuses. Oxford, OUP. Глава 9.
Alderson, JC, Clapham С and Wall, D. (1995) Language Test Construction and Evaluation. Cambridge: CUP. Alderson, J.С (2000) Assessing Reading. Cambridge Language Assessment Series (eds J. С Alderson andL. F. Bachman). Cambridge, CUP. Bachman, L.F. (1990) Fundamental considerations in language testing. Oxford, OUP. Brindley, G. (1989) Assessing Achievement in the Learner-Centred Curriculum. NCELTR Research Series (National Centre for English Language Teaching and Research). Sydney: Macquarie University. Coste, D. and Moore, D. (eds.) (1992) 'Autour de 1 'evaluation de l'oral'. Bulletin CIL A 55. Douglas, D. (2000) Assessing Languages for Specific Purposes. Cambridge Language Assessment Series (eds. J. C. Alderson and L. F. Bachman). Cambridge, CUP. Lado, R. (1961) Language testing: the construction and use of foreign language tests. London,Longman. Lussier, D. (1992) Evaluer les apprentissages dans une approche communicative. Col. F. Paris, Hachette. Monnerie- Goarin.A. and Lescure, R. (eds.) Evaluation et certifications en langue étrangère'. Recherches et applications. Numéro special. Le français dans le monde, août-septembre 1993. Oskarsson, M. (1980) Approaches to self-assessment in foreign language learning. Oxford, Pergamon. Oskarsson, M. (1984) Self-assessment of foreign language skills: a survey of research and development work. Strasbourg, Council of Europe. Reid, I.J. (2000) Assessing Vocabulary. (Cambridge Language Assessment Series, eds. J. С Alderson and L. F. Bachman). Cambridge: CUP. Tagliante. С (ed.) (1991)1 'evaluation. Paris, CLE International. University of Cambridge Local Examinations Syndicate (1998) The multilingual glossary of language testing terms (Studies in language testing 6). Cambridge, CUP. 200 ПРИЛОЖЕНИЕ А: ФОРМУЛИРОВАНИЕ ДЕСКРИПТОРОВ Исходя из опыта разработки шкал для языкового тестирования и в соответствии с общей теорией градуирования в рамках прикладной психологии, а также учитывая предпочтения преподавателей, участвующих в консультациях (например, английская схема последовательных целей, швейцарский проект) представляется целесообразным предложить следующий набор правил для разработки и формулирования дескрипторов: • Позитивная формулировка: для шкал внешней оценки языковой компетентности и для экзаменационных шкал оценки характерна негативная формулировка компетенций на низших уровнях. На этих уровнях проще описать, что говорящий не умеет делать, нежели указать умения и знания, которыми он обладает. Но если рассматривать уровни «Компетенций» как цель, а не как инструмент для отсеивания кандидатов, тогда позитивная формулировка является предпочтительной. Часто одно и то же положение может быть сформулировано и позитивно и отрицательно, как, например, применительно к языковому диапазону: Таблица 1.
Дополнительную трудность при формулировании дескрипторов создает то обстоятельство, что в рамки языковой компетентности входят характеристики, которые должны исчезать по мере ее повышения. Одной из таких характеристик 201 является «Самостоятельность», которая показывает, насколько учащийся/учащаяся зависит от (а) того, насколько его собеседник готов подстраиваться под его/ее уровень, (б) того, насколько велика вероятность получения дополнительных разъяснений, и (в) того, насколько велика вероятность получения помощи от собеседника в формулировании тех или иных мыслей. Зачастую эти моменты оговариваются в отдельных положениях, сопровождающих позитивно сформулированные дескрипторы, например: • В основном понимает четкую стандартную речь на знакомую тему при условии, что учащийся/учащаяся имеет возможность время от времени попросить что-либо повторить или разъяснить другими словами. • Понимает непосредственно адресованную ему/ей четкую и медленную речь в ситуациях ежедневного общения; понимание им/ей сообщения может потребовать дополнительного усилия от собеседника. Или: • Может общаться с определенной свободой в рамках стандартных ситуаций и коротких бесед, при условии, что при необходимости собеседник окажет помощь. • Точность: Дескрипторы должны содержать описание конкретных задач и/или конкретных степеней владения умением выполнить ту или иную задачу. Здесь необходимо особо отметить два момента. Во-первых, при формулировании дескриптора следует избегать расплывчатости, как, например, в формулировке типа: «Может использовать ряд уместных стратегий». Что понимается под стратегией? Уместной для чего? Как следует понимать «ряд»? Проблема с подобными дескрипторами состоит в том, что они легко читаются, но внешняя легкость прочтения может скрывать различные интерпретации. Во-вторых, с 1940-х годов существует положение о том, что различие между разными уровнями на шкале не должно зависеть от употребления показателя количества: например, замены «некоторые, несколько» на «многие, большая часть», «достаточно широкий» на «чрезвычайно широкий», «умеренный» на «хороший» при переходе на более высокий уровень. Различия между уровнями должны быть реальными, а не словесными, что может означать скачкообразные переходы между уровнями, если между ними не удастся найти конкретные, имеющие смысл различия. • Ясность: Дескрипторы должны быть прозрачными и не содержать профессиональных жаргонизмов. Помимо того, что профессиональный жаргон может препятствовать пониманию, за ним может скрываться отсутствие глубокого содержания. Во-вторых, дескрипторы должны быть сформулированы в виде простых предложений с ярко выраженной логической структурой. • Краткость: Существует два подхода к данному вопросу. Один из них предполагает холистически использование шкал, распространенных например, в Америке и Австралии. Эти шкалы состоят из длинных абзацев, которые полностью охватывают то, что можно считать основными характеристиками. Такие шкалы достигают точности за счет исчерпывающего перечисления характеристик и свойств, которое должно создать детальный портрет типичного учащегося на определенном уровне для тех, кто производит оценку этого уровня. В результате эти шкалы являются источником очень подробного описания. Однако при таком подходе есть два недостатка. 202 Во-первых, ни один человек полностью не подходит под стереотип. Описываемые черты могут существовать в разных сочетаниях. Во-вторых, формулировка дескриптора в виде сложного предложения, включающего более чем два простых или придаточных предложения, не позволяет воспользоваться ею в процессе реальной оценки уровня владения языком. Преподаватели, вне всякого сомнения, предпочитают короткие формулировки дескрипторов. В проекте, в ходе которого были сформулированы подробные описательные дескрипторы, преподаватели либо отказывались использовать длинные дескрипторы, включающие более 25 слов (примерно две строчки обычным шрифтом), либо разбивали их на части. • Автономность: Существует еще два преимущества краткой формулировки дескрипторов. Во-первых, они с большей долей вероятности опишут поведение, о котором можно сказать: «Да, этот человек может это сделать». Соответственно, более короткие конкретные дескрипторы могут быть использованы как не зависящие от других критерии в составе опросников/анкет для текущего контроля и для самоконтроля/самооценки. Такое сочетание независимости и целостности позволяет заключить, что дескриптор может служить в качестве автономной цели, а не просто обладать значением, связанным со значением других дескрипторов той же шкалы. Это открывает определенные возможности их использования в различных формах контроля (см. глава 9).
Методы разработки шкал Существование нескольких уровней предполагает, что некоторые умения могут быть отнесены скорее к одному уровню, нежели к другому и что параметры определенного уровня владения могут быть помещены скорее на один уровень, нежели на другой. Это предполагает наличие некой единообразной шкалы. Существует несколько методов, с помощью которых параметры владения языком могут быть соотнесены с различными уровнями. Эти методы могут быть разделены на три группы: интуитивные, качественные и количественные. Большинство существующих шкал оценки владения языком и другие системы уровней были разработаны при помощи одного из трех интуитивных методов первой группы. Наилучший подход объединяет все три метода таким образом, чтобы они дополняли и усиливали положительное воздействие друг друга. Качественные методы предполагают интуитивную подготовку и отбор материала и интуитивную оценку результата. Количественные методы должны осуществлять количественный подсчет предварительного протестированного качественными методами материала; они должны быть дополнены интуитивной интерпретацией результатов. Таким образом, при разработке общеевропейской системы уровней было использовано сочетание интуитивных, качественных и количественных методов. 203 При использовании качественных и количественных методов возможно начинать как с дескрипторов, так и с образцов поведения. Начиная с дескрипторов: Первый исходный пункт - обдумать то, что необходимо описать, а затем сформулировать, скомпоновать и отредактировать перечень необходимых дескрипторов для значимых категорий в качестве подготовки к этапу применения качественных методов. Примерами этого подхода служат методы 4 и 9, первый и последний в нижеследующем перечне качественных методов. Такая методика наиболее уместна при разработке дескрипторов для таких категорий, входящих в учебную программу, как коммуникативные виды деятельности, но может быть применена и к разработке дескрипторов для отдельных аспектов языковой компетенции. Формулирование дескрипторов и категорий на начальном этапе позволяет выстроить теоретически сбалансированную систему. Начиная с образцов поведения: Альтернативный подход, при котором система дескрипторов разрабатывается для оценки уровня владения языком, начинается с типичных образцов поведения. При таком подходе экзаменаторы дают оценку тому, что наблюдают при работе с образцами. Методы 5-8 - различные варианты основной идеи. Те, кто производит оценку, также описывают предложенные образцы. Затем эти описания обрабатываются с помощью статических методов для выявления того, какие характеристики являются ключевыми для оценки (количественные методы). Примеры такого подхода - методы 10 и 11. Преимуществом такого подхода является то, что получаемые описания основываются на конкретных данных. Последний метод, 12 - единственный, который градуирует дескрипторы в математическом понимании этого слова. Этот метод использовался при разработке общеевропейской системы уровней иллюстративных дескрипторов в сочетании с методом 2 (интуитивным) и методами 8 и 9 (качественными). Вместе с тем, те же статические методы могут быть использованы и после того как шкала разработана, -для обоснования ее практического применения и установления необходимости пересмотра. Интуитивные методы Эти методы не требуют специально организованного сбора данных, они основываются на интерпретации опыта в соответствии с определенными принципами. № 1 Эксперт: Шкала создается группой специалистов на основе существующих шкал, учебных программ и других важных материалов, возможно с учетом потребностей группы, для которой шкала создается. Затем группа опробует и корректирует шкалу, возможно с участием информантов. № 2 Комитет: Работает также как эксперт, однако включает небольшую группу разработчиков и большую группу консультантов, которые рецензируют варианты, предлагаемые разработчиками. Консультанты могут работать опираясь на интуицию, исходя из своего опыта и/или на основе сравнения себя с учащимися или образцов речевого поведения между собой. Слабые стороны шкал, созданных в Великобритании и Австралии для программ изучения иностранных языков в средней школе, обсуждаются в Gipps (1994), Scarino (1996, 1997). № 3 Опытным путем: Работает также как комитет, но процесс продолжается в течение более длительного времени и завершается формированием «единого мнения». Группа специалистов разделяет определенное понимание системы
уровней и критериев оценки. Для уточнения формулировок может использовать экспериментальное пилотирование и обсуждение его результатов. Экзаменаторы могут обсуждать соотношение между языковым поведением и формулировкой дескрипторов и то, как изменение одного влечет за собой изменение другого. Это - традиционный способ разработки уровней языковой компетенции (Wilds 1975; Ingram 1985; Liskin-Gasparro 1984; Lowe 1985, 1986). Качественные методы Эти методы предполагают использование рабочих секций с участием информантов и качественную, а не статическую интерпретацию полученных данных. № 4 Формулирование ключевых концептов: После создания предварительной шкалы наиболее простой метод - разделить шкалу на части и предложить информантам (типичным представителям той группы, которая будет пользоваться этой шкалой) (а) расположить определения в том порядке, который им кажется верным, (б) объяснить, почему они так думают, и, после того как были выявлены различия между исходным порядком расположения и предложенном ими порядком расположения, (в) выявить, какие ключевые положения им помогли, а какие - мешали. Этот метод можно усложнить, исключив один уровень и предложив определить, в каком месте на шкале существует пробел, указывающий на пропущенный уровень. Таким методом были разработаны шкалы для сертификации в Евроцентрах. № 5 Ключевые понятия - языковое поведение: Дескрипторы соотносятся с типичным языковым поведением на выделенных уровнях таким образом, чтобы описываемое соответствовало бы реально происходящему. Некоторые экзаменационные справочники Кембриджа описывают этот процесс для преподавателей, сравнивая формулировки дескрипторов разных шкал и оценки, выставляемые конкретным экзаменационным работам. При создании дескрипторов в рамках Международной системы языкового тестирования (IELTS) опытных экзаменаторов попросили определить «образцы типичной работы» для каждого уровня, а затем выявить «ключевые черты» каждой работы. Те черты, которые признаются типичными для разных уровней, окончательно формулируются и включаются в дескрипторы в результате обсуждения (Alderson 1991, Shohamy étal 1992). № 6 Первичная характеристика: Индивидуальные информанты располагают работы (обычно письменные) в определенном порядке. При групповом обсуждении все индивидуально рассортированные работы располагаются в едином порядке. Затем происходит выделение и описание разных уровней проявления того принципа, на основании которого происходит сортировка работ. Особое внимание уделяется характеристикам, индивидуально значимым для каждого уровня. То, что было описано, - первичная характеристика, определяющая порядок расположения (Mullis 1980). Разновидностью этого метода является сортировка в несколько стопок вместо единого порядка. Также у этого классического подхода существует вариант многомерной сортировки. В этом случае через выделение ключевых черт (см. № 5) происходит определение первичных характеристик. После этого работы сортируются по порядку для каждой первичной характеристики по отдельности. В результате получается не
одномерная холистическая шкала для одной первичной черты, а аналитическая многомерная шкала для нескольких черт. № 7 Выбор из двух вариантов: Это еще один вариант метода установления первичной характеристики. На первом этапе производится сортировка представительных образцов в несколько стопок в зависимости от их уровня. Затем в ходе обсуждения, при котором происходит выявление принципов установления границ между уровнями, выявляются ключевые черты (см. метод № 5). В отличие от вышеуказанного метода описание каждой ключевой черты формулируется как вопрос, предполагающий ответ «Да/Нет». Таким образом, выстраивается разветвленная структура бинарных оппозиций. Эта структура дает экзаменатору алгоритм принятия решений (Usphur and Turner 1995). № 8 Сравнительные суждения: Групгн*чтопарно сравнивают между собой экзаменационные работы, определяя, которая из них лучше и почему. Этот метод позволяет создать метаязык, который используется при оценке языковой компетенции, и выявить черты, значимые для каждого уровня. Эти черты затем формулируются как дескрипторы (Pollitt and Murray 1996). № 9 Сортировка: После того как сформулированы первоначальные варианты описания дескрипторов, информантам может быть предложено скомпоновать их в соответствии с теми категориями, которые они описывают, и/или в соответствии с теми уровнями, к которым они относятся. Информанты также могут уточнять дескрипторы/редактировать их и/или полностью отвергать их, а также отмечать наиболее важные, четкие, полезные и т.д. С помощью этой методики был отобран общий перечень дескрипторов, на основании которых были сформулированы и отредактированы описательные шкалы (Smith and Kendall 1963 North 1996/2000).
Количественные методы предполагают значительный статистический анализ и тщательную интерпретацию результатов. № 10 Дискриминантныи анализ: На первом этапе ряд экзаменационных материалов, которые уже были рассортированы (предпочтительно группой экзаменаторов), подвергается дискурсивному анализу. Этот качественный анализ выявляет и подсчитывает частотность различных качественных характеристик. Затем при помощи множественной регрессии определяется, какие из выделенных черт наиболее значимы для отнесения материала к определенному уровню. Эти ключевые черты затем включаются в формулировки дескрипторов каждого уровня (Fulcher 1996). № 11 Многоаспектное шкалирование: Вопреки названию, это описательная методика, с помощью которой происходит выделение ключевых черт и определение отношения между ними. Языковая компетенция оценивается при помощи аналитической шкалы, объединяющей несколько категорий. В результате анализа может быть показано, какие категории сыграли определяющую роль при выявлении уровня языковой компетенции, и может быть создана диаграмма, выражающая степень сосуществования или удаленности категорий друг от друга. Таким образом, эта методика позволяет выявить и опытным путем проверить значимые критерии (Chalob-Deville 1995). 206 № 12 Теория ответа на вопрос (ТОВ) или анализ «скрытых черт»: ТОВ предлагает систему взаимосвязанных измерений или моделей шкалирования. Наиболее простая и надежная - модель Раша, названная так в честь Георга Раша, датского математика. ТОВ представляет собой развитие теории вероятности и используется в основном для определения трудности того или иного задания в банке заданий. Если ваш уровень языковой компетентности - продвинутый, то вероятность вашего правильного ответа на простой вопрос очень высока. Вероятность же правильного ответа на вопрос продвинутого уровня для начинающего - мала. Этот простой факт развернут в методику шкалирования, основанную на модели Раша, которая затем используется для обеспечения однородности пунктов на одной шкале. Дальнейшее развитие этого подхода позволяет применить его к шкал.ирйрадрю дескрипторов как коммуникативных умений, так и тестовых заданий. При анализе по методике Раша различные тестовые задания или опросники могут быть преобразованы в непрерывную цепочечную структуру благодаря использованию «якорных элементов», которые являются общими для соседствующих уровней. На нижеприведенной схеме эти «якорные элементы» заштрихованы серым. Таким образом, задания могут быть приспособлены для индивидуальных категорий учащихся, оставаясь при этом в рамках единой шкалы. Однако следует учесть, что эта модель искажает результаты тех, кто набирает чрезвычайно большое и чрезвычайно маленькое количество очков на разных уровнях.
Преимущество анализа по методу Раша состоит в том, что он позволяет получить шкалирование, которое не зависит от конкретных результатов теста или тестовых заданий/опросников, использованных для анализа. Полученные значения шкалы остаются постоянными для будущего тестирования, при условии, что эти будущие тестируемые могут рассматриваться как новые группы в рамках того же статистического населения. Систематическое изменение значений шкалы в связи с течением времени (например, ввиду изменений в учебной программе или в подготовке экзаменаторов) могут быть выражены численно и учтены (Wright and Masters 1982; Lincare 1989). Анализ по методу Раша может быть применен к шкалированию дескрипторов несколькими способами:
жүктеу/скачать 2.61 Mb. Достарыңызбен бөлісу:
|