Система критериев предназначена для оценивания качества инструмента измерения (теста) в области психологии и образовании.
Минимальный набор документации для проведения экспертизы:
-
Материалы теста (в бланковой либо компьютерной форме);
-
Руководство пользователя теста; Вместо единого руководства пользователя может присутствовать набор документов, в том числе: спецификация теста, инструкция по проведению тестирования, инструкция по подсчету баллов и их интерпретации, различные методические указания и т.д.
-
Техническое руководство1. Техническое руководство (технический отчет) может состоять из набора документов с информацией по проведенным исследованиям обоснования качества инструмента.
Дополнительно разработчиком могут быть приложены любые материалы, которые он считает необходимым представить: научные статьи, данные исследований и т.д.
Пожалуйста, заполните таблицу критериев и, по ее результатам, лист рейтинга. В таблице критериев представлены графы «Критерий», «Описание критерия» и «Оценка». В графе «Описание критерия» даны ориентиры для выставления оценки: 0 — нет информации, 1 - недостаточно ( информация имеется, но, ее качество не соответствует надлежащему), 2 - допустимо, 3 - хорошо, 4 - отлично. В перечне ориентиров некоторые критерии выделены полужирным шрифтом, это значит, что наличие минимальной информации по ним необходимо для получения балла «допустимо» (2). Если разработчики теста предоставили больше информации, чем по минимальным критериям, либо показали, что инструмент обладает очень хорошими свойствами по минимальным критериям, эксперт может принять решение о выставлении оценки 3 или 4. В листе рейтинга выставляется средний балл по каждому критерию. Туда же переносится резюме эксперта по критериям и по тесту вообще. Не все критерии применимы для всех тестов, что нужно учитывать при подсчете среднего балла за раздел.
Пожалуйста, обратите внимание, что в разделах 1 и 2 (Оценка руководства пользователя и технического руководства) проверяется именно наличие в руководствах информации по соответствующим критериям, в то время как дальше оценивается уже качество и полнота информации, поэтому критерии в разных разделах до некоторой степени дублируются. Это связано с тем, что у некоторых тестов могут отсутствовать руководство пользователя или техническое руководство, вследствие чего эти разделы будут автоматически пропущены, а информация по критериям будет получена из других представленных источников (научных статей и пр.).
-
Ключевой вопрос: 1 Имеется ли руководство пользователя теста? Если ответ отрицательный, переходите к пункту 2.1, а в листе рейтинга поставьте прочерк. Если ответ положительный, оцените качество описания следующих критериев по шкале 0 (нет информации), 1 (неадекватно), 2 (адекватно), 3 (хорошо), 4 (отлично).
|
Критерий
|
Описание критерия (ниже даны критерии для оценки «отлично» (4), жирным шрифтом отмечены критерии, минимальной информации по которым достаточно для оценки «адекватно» (2).
|
0
|
1
|
2
|
3
|
4
|
1.1
|
Инструкция по проведению тестирования
| -
Приведен алгоритм действий администратора теста
-
В случае компьютерного тестирования или тестирования через интернет: представлена полная информация по требованиям к браузерам, инсталляции необходимого ПО и управлению им (с указанием возможных ошибок в различных системах) и описание доступности техподдержки.
-
Даны рекомендации по ответам на типичные вопросы испытуемых
-
Даны рекомендации по поведению в типичных затруднениях/проблемных ситуациях.
-
Указан перечень необходимого оборудования/принадлежностей для проведения тестирования
|
0
|
1
|
2
|
3
|
4
|
1.2
|
Полнота информации по подсчету баллов
| -
Приведено описание процедуры подсчета баллов за выполнение отдельных заданий и всего теста в целом
-
Описаны механизмы обеспечения качества обработки ответных бланков при бланковом тестировании (на этапах сканирования, верификации и т.д.) (если применимо)
|
0
|
1
|
2
|
3
|
4
|
1.3
|
Полнота информации о нормировании
| -
Приведена подробная информация о методике нормирования, либо даны пояснения, почему для данного теста нормирование не обязательно
-
Присутствует информация о выборке стандартизации
|
0
|
1
|
2
|
3
|
4
|
1.4
|
Полнота информации по интерпретации результатов
| -
Даны рекомендации по интерпретации результатов тестирования
-
Имеются советы, как справляться с возможными искажениями в измерении испытуемых, обусловленными списыванием, различными ответными стилями, отсутствием мотивации и т.д.
|
0
|
1
|
2
|
3
|
4
|
1.5
|
Представление результатов тестирования
| -
Приведена информация о формах обратной связи с участниками тестирования - ее формат и содержание
-
Описана степень конфиденциальности результатов (кому или что нельзя сообщать, например, нельзя сообщать родителям ребенка о результатах других детей в классе и т.п.)
-
Даны рекомендации по ответам на типичные вопросы, связанные с результатами
|
0
|
1
|
2
|
3
|
4
|
1.6
|
Справедливость оценивания участников тестирования
| -
Приведена информация об исследованиях справедливости оценивания по отношению к различным группам участников ((например, разного пола, этническим группам и т.п.), отсутствия возможных искажений в оценивании и отсутствия DIF (различного функционирования заданий по отношению к различным группам испытуемых)
-
Даны рекомендации, как наличие DIF может повлиять на интерпретацию результатов.
|
0
|
1
|
2
|
3
|
4
|
1.7
|
Полнота информации по ограничениям теста
| -
Приведена информация об ограничениях теста, например, кого можно и кого нельзя оценивать с помощью данного теста (с объяснением ограничений - например, по типам инвалидности, уровням грамотности и пр).
-
Приведена информация по ограничениям в применении результатов тестирования
|
0
|
1
|
2
|
3
|
4
|
1.8
|
Справочная и сопроводительная литература
| -
Приведены ссылки на теорию и релевантную литературу и другие материалы по инструменту.
-
Указана литература для подготовки испытуемых (разделы программы, темы, учебные пособия и пр.).
|
0
|
1
|
2
|
3
|
4
|
Резюме: Общая оценка материалов руководства пользователя (500-2500 символов с пробелами. Здесь можно записать любые комментарии, возникшие в ходе оценивания качества руководства.
Достарыңызбен бөлісу: |
