Инструкция для эксперта и модель экспертизы тестов Приложение 3 Лист рейтинга по результатам экспертизы теста


Сравнительные особенности моделей экспертизы тестов



бет4/15
Дата16.07.2016
өлшемі0.52 Mb.
#203078
түріИнструкция
1   2   3   4   5   6   7   8   9   ...   15

2.9 Сравнительные особенности моделей экспертизы тестов


Попытки сравнения различных национальных систем уже принимались (например, сравнение Европейской модели, внедренной в Британии, голландской модели, бразильской, немецкой и американской модели Буроса, см. Evers, 2011). Отмечая организационное своеобразие и содержательные различия (см. Таблицу 1) национальных моделей экспертизы тестов (европейскую модель, внедренную в Британии можно считать национальной, поскольку принятые в ней процедурные решения свойственны именно британскому варианту), Арне Эверс, один из разработчиков голландской и производной от нее европейской моделей, делает вывод, что все системы приспособлены к функционированию в условиях своих культур, а различия между ними объясняются юридическими, культурными и политическими причинами.


Критерий

Модель Буроса

Немецкая

Бразильская

Европейская (как она внедрена в Британии)

Голландская

Доступность

Необходимо приобрести сборник рецензий или заплатить за рецензию на веб-сайте

Сначала публикуется в научном журнале, а затем бесплатно на сайте

На сайте бесплатно публикуется только окончательный результат (соответствует/не соответствует требованиям)

Платная подписка или плата за отдельную рецензию на сайте (бесплатно для прошедших сертификацию пользователей тестов)

Платная подписка

Критерии отбора тестов для рецензирования

Коммерческая доступность; тест непригоден для экспертизы при отсутствии надлежащей документации

Тест номинирует комитет или автор/издатель; тест непригоден для экспертизы при отсутствии надлежащей документации

Любой опубликованный тест должен пройти оценку, сдается на экспертизу автором/издателем

Сдается на экспертизу автором/издателем

Оцениваются любые тесты, но они должны иметь исследования по нормам на голландской выборке, должны быть указаны их валидность и надежность.

Количество экспертов

Два эксперта для большинства тестов

Два эксперта

Два эксперта, один из которых – это Комитет по тестированию, в случае разногласий привлекается третий эксперт

Два эксперта

Два эксперта, в случае серьезных разногласий привлекается третий эксперт

Плата экспертам

Экземпляр «Ежегодника»

Работают бесплатно

Работают бесплатно

Получают плату за каждую рецензию

Работают бесплатно

Анонимность экспертов

Имена публикуются

Имена публикуются по желанию экспертов (возможность анонимности)

Анонимно

Имена публикуются

Анонимно

Инструкции для экспертов

Мало инструкций, для примера экспертиам выдаются три готовых обзора

Подробные

Подробные, нет указаний, как комбинировать баллы за вопросы

Мало инструкций, нет указаний, как комбинировать баллы за вопросы

Подробные, с указанием как комбинировать баллы за вопросы

Формат

Тестовая рецензия

Чек-листы и рецензии в свободном формате

Комбинация открытых вопросов и чек-листов

Комбинация вопросов со шкалой Ликерта (четырехбалльная шкала) и рецензий в свободном формате

Комбинация вопросов со шкалой Ликерта (трехбалльная шкала) и комментариев в свободном формате

Предусмотрено ли общее описание теста?

Да, частично структурированное с информацией о цене

Да, как элемент рецензии в свободном формате

Нет ясности, публикуется ли эта информация и в каком виде

Да, подробная, частично структурированная информация, включая цену

Да, частично структурированная информация

Предусмотрена ли оценка теоретических оснований?

Да, как часть раздела «Разработка инструмента»

Да, отельный раздел с чек-листами и описательной рецензией

Да, но всего один вопрос

Да

Да

Предусмотрена ли оценка качества тестовых материалов?

Неявно, обычно входит в раздел «Комментарии»

Частично в разделах по объективности в виде чек-листов и описательной рецензии

Да, но всего один вопрос

Да

Да

Предусмотрена ли оценка качества мануала?

Неявно

Подробно в чек-листах первых трех разделов, неявно в описательной рецензии

Да

Да

Да

Предусмотрена ли оценка норм?

Да; нет руководства по оценке репрезентативности и размера групп нормирования



Отдельные разделы в чек-листах и описательной рецензии; нет руководства по оценке репрезентативности и размера групп нормирования


Да, имеются руководства по оценке репрезентативности и размера групп нормирования


Да, есть руководства по оценке размера групп нормирования, но не по оценке их репрезентативности

Да, есть руководства по оценке репрезентативности и размера групп нормирования. Но не на случай длящегося нормирования (continuous norming)

Предусмотрена ли оценка надежности&

Да. Но нет рекомендаций по оценке размера коэффициентов

Да, имеются отдельные разделы в чек-листах и описательных обзорах; нет рекомендаций по оценке размера коэффициентов

Да. Имеются рекомендации по оценке размера коэффициентов

Да. Имеются рекомендации по оценке размера коэффициентов

Да. Имеются рекомендации по оценке размера коэффициентов

Предусмотрена ли оценка валидности?

Да, нет рекомендаций по оценке результатов исследований валидности

Да, имеются отдельные разделы в чек-листах и описательных обзорах; нет рекомендаций по оценке результатов исследований валидности

Да, нет рекомендаций по оценке результатов исследований валидности

Да, имеются рекомендации по оценке результатов исследований валидности

Да, имеются рекомендации по оценке результатов исследований валидности по некоторым типам исследований

Давность исследований

Неявно

Да, но неясно, как оценивать эту информацию

Время последнего исследования должно быть упомянуто, но неясно, как оценивать эту информацию

Да, но неясно, как оценивать эту информацию

Да, но только в отношении нормирования

Имеется ли резюмирующая оценка?

Нет общего рейтинга

Рейтинги по четырехбалльной шкале по четырем критериям

Рейтинги по четырехбалльной шкале по шести критериям; общая оценка теста: «одобрено» или «не одобрено»

Рейтинги по четырехбалльной шкале по шести критериям и по общей адекватности технической информации

Рейтинги по трехбалльной шкале по семи критериям

Другие подробности

Публикуется две отдельных рецензии

Чек-листы заполняют авторы/издатели до того, как сдать материалы на рецензию; если эксперты не согласны между собой, эти части их отзывов публикуются параллельно

Критерии для проективных методик менее строгие

Имеется раздел оценки качества генерируемых компьютером отчетов; даются рекомендации по использованию теста в соответствии с его оцененным качеством

Публикуются резюме исследований; общие описательные данные и резюме исследований пишутся оплачиваемым сотрудником COTAN (Комитета по тестированию Нидерландов)





Достарыңызбен бөлісу:
1   2   3   4   5   6   7   8   9   ...   15




©dereksiz.org 2024
әкімшілігінің қараңыз

    Басты бет