5.1 Нормативно-ориентированное тестирование
5.1 Ключевой вопрос: Является ли тест нормативно-ориентированным? Если ответ отрицательный, переходите к пункту 5.2
5.1.1
|
Соответствие нормирования целям тестирования
(если применимо)
| -
Указан тип рекомендованной стандартной шкалы (Т-баллы, процентили, стены, станайны и пр.)
-
Имеется релевантная выборка, которая подходит целям исследования
-
Дано четкое описание генеральной совокупности
|
0
|
1
|
2
|
3
|
4
|
5.1.2
|
Размер выборки3
| -
Для тестов, предназначенных для принятия важных решений (например, отбор сотрудников, зачисление на обучающую программу и т.п.) N < 300 недостаточно; 300 ≤ N < 400 допустимо; N ≥ 400 хорошо.
-
Для тестов, предназначенных для принятия менее важных решений на индивидуальном уровне (например, оценивание результатов обучения): N < 200 недостаточно; 200 ≤ N < 300 допустимо; N ≥ 300 хорошо.
-
Для тестов, применяемых для исследований на групповом уровне: N < 100 недостаточно; 100 ≤ N <200 допустимо; N ≥200 хорошо.
|
0
|
1
|
2
|
3
|
4
|
5.1.4
|
Дизайн выборки стандартизации
| -
Приведена методика составления выборки стандартизации
-
Приведены доказательства того, что выборка стандартизации соответствует целям тестирования
-
Указан дизайн выборки4
|
0
|
1
|
2
|
3
|
4
|
5.1.5
|
Как давно проводились нормативные исследования 5
| -
Нет информации — 0
-
Слишком давно: 20 лет и больше — 1
-
Допустимо: 15-19 лет — 2
-
Хорошо: 10-14 лет — 3
-
Отлично: менее 10 лет — 4
|
0
|
1
|
2
|
3
|
4
|
Критериально-ориентированное тестирование
5.2.1
|
Определение пороговых оценок, проходных баллов
| -
Описана методика определения пороговых оценок, проходных баллов (методы Недельски, Ангоф, Эбель, Берк (контрастные группы), IRT методы и т.д.)
-
Описана процедура установления пороговых оценок, проходных баллов
|
|
|
|
|
|
5.2.1
|
Отбор и обучение экспертов
| -
Указано число привлекаемых экспертов (если менее двух, оценка будет «неадекватно»)
-
Приведены сведения о квалификации экспертов, и она соответствует значимости теста
-
Эксперты прошли специальное обучение/тренинг
|
0
|
1
|
2
|
3
|
4
|
5.2.3
|
Размер коэффициента согласованности между экспертами6
| -
Нет информации — 0
-
Неадекватный (r < 0.60) — 1
-
Адекватный (0.60 ≤ r < 0.70) — 2
-
Хороший (0.70 ≤ r < 0.80) — 3
-
Отличный (r ≥ 0.80) — 4
-
Приведены результаты исследования поведения экспертов (эффект центральной тенденции, строгость/снисходительность, эффект гало и пр.) (если применимо)
-
Приведены исследования по валидизации установленных пороговых оценок
|
0
|
1
|
2
|
3
|
4
|
5.2.4
|
Как давно проводились исследования пороговых оценок7
| -
Нет информации — 0
-
Слишком давно: 20 лет и больше — 1
-
Допустимо: 15-19 лет — 2
-
Хорошо: 10-14 лет — 2
-
Отлично: менее 10 лет — 4
|
0
|
1
|
2
|
3
|
4
|
Резюме: Общая оценка качества исследования (500-2500 символов с пробелами).
5.3 Форма обратной связи для различных групп пользователей (если применимо)
5.3.1
|
Стандартизация
| -
Отчет, представленный в текстовой форме, стандартизирован
-
Для разных групп конечных пользователей генерируются различные отчеты (если необходимо)
-
Отчет предоставляется больше, чем на одном языке (если необходимо)
|
0
|
1
|
2
|
3
|
4
|
5.3.2
|
Информативность
| -
Объем отчета и его детализация достаточные для целей теста (избыточность информации может быть недостатком).
-
Уровень сложности подачи информации в отчете (используемая терминология и пр.) соответствует уровню понимания целевыми группами пользователей теста.
|
0
|
1
|
2
|
3
|
4
|
5.3.3
|
Справедливость
| -
В отчете предусмотрено указание на возможные систематические ошибки, особенности интерпретации результатов в зависимости от конкретной ситуации
-
Указана стандартная ошибки измерения (если применимо)
|
0
|
1
|
2
|
3
|
4
|
Достарыңызбен бөлісу: |
