В результате экспертной оценки был внесен ряд теоретических и стилистических правок (в частности, сложности вызвало использование терминологии, для которой в русском языке нет единого устоявшегося перевода, в таком случае было принято решение использовать несколько вариантов). Кроме того, стало очевидно, что необходимо сделать документ с комментариями к каждому критерию, в которых содержались бы как теоретические положения критериев, так и пояснения о процессе их создания/адаптации. Комментарии к критериям содержатся в Приложении 4
4.Эмпирическая часть
Для апробации методики использовалась «Краткая версия теста жизнестойкости» (разработчики Осин Е.Н., Рассказова Е.И.). В качестве тестовых материалов были предоставлены две научных статьи по результатам апробации теста и методичка, посвященная исходной (длинной) его версии. Поскольку тест разрабатывался по научному гранту и не выступает коммерческим продуктом, у него отсутствует сопроводительная документация (руководство пользователя и техническое руководство). Это позволяет проиллюстрировать необходимость повторов в критериях: поскольку оценка первых двух разделов модели (руководства пользователя и технического руководства) автоматически получает рейтинг 0 (нет информации), свойства теста полноценно исследуются в других разделах на материалах статей.
Ниже представлен оценочный бланк с усредненными оценками по данной методике:
Лист рейтинга по результатам экспертизы теста «Краткая версия теста жизнестойкости»
|
Направление оценивания
|
Средний балл
|
Резюме
|
1
|
Руководство по использованию теста
|
0
|
Нет информации
|
2
|
Техническое руководство
|
0
|
Нет информации
|
3.1
|
Качество реализации тестовых материалов (бланковое тестирование).
|
2
|
Бланк оформлен понятно, однако шрифт мелкий (11 пунктов) и отсутствуют инструкции для испытуемых (возможно, они даются устно, но тогда встает вопрос стандартизации)
|
3.2
|
Качество реализации тестовых материалов (компьютерное или интернет-тестирование).
|
0
|
Нет информации
|
4.1
|
Теоретические основы теста – Теория
|
3
|
Теоретические основы описаны ясно и подробно со ссылками на первоисточники. Можно сделать заключение о практической применимости теста.
|
4.2
|
Теоретические основы теста – Описание исследований
|
2
|
Особенностью инструмента является то, что это модификация (краткая версия) другого инструмента, поэтому вопросы о разработке заданий оказались неприменимы. В исследованиях не оценивалась справедливость заданий теста по отношению к различным группам участников. При создании теста использовались только методы классической теории тестирования.
|
5.1
|
Нормативно-ориентированное тестирование
|
--
|
Не применимо
|
5.2
|
Критериально-ориентированное тестирование
|
--
|
Не применимо
|
5.3
|
Форма обратной связи
|
0
|
Нет информации
|
6
|
Надежность
|
2
|
Используется только один показатель надежности (альфа Кронбаха). Хотя надежность всего теста высокая (0,91), надежность отдельных субшкал значительно меньше (от 0,77 до 0,66), что может быть связано с их краткостью. Подробно описана выборка, однако это частично «удобная выборка» (студенты-психологи).
|
7
|
Валидность
|
3
|
Подробно описаны процедуры и результаты факторного анализа и конвергентной и дискриминативной валидности. Отсутствуют данные по прогностической валидности инструмента, установление которой заявлено в дальнейших целях работы.
|
В результате оценивания методики стало ясно, что опциональными («если применимо») могут считаться большее количество критериев, чем предполагалось изначально. Например, данная методика является сокращенной версией другой, уже существующей методики, поэтому вопросы о создании заданий для нее неактуальны, зато актуальны вопросы о методе отбора заданий для краткой версии теста. В модель были внесены изменения, сделавшие ее более гибкой (больше решений остается на усмотрение эксперта-оценщика).
В целом, очевидно, что для того, чтобы модель оценивания тестов можно было использовать в российских условиях, она должна быть приспособлена к уступкам и компромиссам (например, чтобы отсутствие руководства пользователя не считалось противопоказанием к экспертизе). Но при этом она должна быть достаточно подробной и соответствовать современным требованиям, чтобы по ней можно было оценивать тесты, разработанные по «западным» подходам (с соблюдением всех необходимых требований, этапов, с использованием современной теории тестирования и т.п.), поскольку таких инструментов в российской практике становится все больше.
Достарыңызбен бөлісу: |