Инструкция для эксперта и модель экспертизы тестов Приложение 3 Лист рейтинга по результатам экспертизы теста



бет7/15
Дата16.07.2016
өлшемі0.52 Mb.
#203078
түріИнструкция
1   2   3   4   5   6   7   8   9   10   ...   15

3.3 Коррекция модели


В результате экспертной оценки был внесен ряд теоретических и стилистических правок (в частности, сложности вызвало использование терминологии, для которой в русском языке нет единого устоявшегося перевода, в таком случае было принято решение использовать несколько вариантов). Кроме того, стало очевидно, что необходимо сделать документ с комментариями к каждому критерию, в которых содержались бы как теоретические положения критериев, так и пояснения о процессе их создания/адаптации. Комментарии к критериям содержатся в Приложении 4

4.Эмпирическая часть


Для апробации методики использовалась «Краткая версия теста жизнестойкости» (разработчики Осин Е.Н., Рассказова Е.И.). В качестве тестовых материалов были предоставлены две научных статьи по результатам апробации теста и методичка, посвященная исходной (длинной) его версии. Поскольку тест разрабатывался по научному гранту и не выступает коммерческим продуктом, у него отсутствует сопроводительная документация (руководство пользователя и техническое руководство). Это позволяет проиллюстрировать необходимость повторов в критериях: поскольку оценка первых двух разделов модели (руководства пользователя и технического руководства) автоматически получает рейтинг 0 (нет информации), свойства теста полноценно исследуются в других разделах на материалах статей.

Ниже представлен оценочный бланк с усредненными оценками по данной методике:



Лист рейтинга по результатам экспертизы теста «Краткая версия теста жизнестойкости»








Направление оценивания

Средний балл

Резюме

1

Руководство по использованию теста

0

Нет информации

2

Техническое руководство

0

Нет информации

3.1

Качество реализации тестовых материалов (бланковое тестирование).

2

Бланк оформлен понятно, однако шрифт мелкий (11 пунктов) и отсутствуют инструкции для испытуемых (возможно, они даются устно, но тогда встает вопрос стандартизации)

3.2

Качество реализации тестовых материалов (компьютерное или интернет-тестирование).

0

Нет информации

4.1

Теоретические основы теста – Теория

3

Теоретические основы описаны ясно и подробно со ссылками на первоисточники. Можно сделать заключение о практической применимости теста.

4.2

Теоретические основы теста – Описание исследований

2

Особенностью инструмента является то, что это модификация (краткая версия) другого инструмента, поэтому вопросы о разработке заданий оказались неприменимы. В исследованиях не оценивалась справедливость заданий теста по отношению к различным группам участников. При создании теста использовались только методы классической теории тестирования.

5.1

Нормативно-ориентированное тестирование

--

Не применимо

5.2

Критериально-ориентированное тестирование

--

Не применимо

5.3

Форма обратной связи

0

Нет информации

6

Надежность

2

Используется только один показатель надежности (альфа Кронбаха). Хотя надежность всего теста высокая (0,91), надежность отдельных субшкал значительно меньше (от 0,77 до 0,66), что может быть связано с их краткостью. Подробно описана выборка, однако это частично «удобная выборка» (студенты-психологи).

7

Валидность

3

Подробно описаны процедуры и результаты факторного анализа и конвергентной и дискриминативной валидности. Отсутствуют данные по прогностической валидности инструмента, установление которой заявлено в дальнейших целях работы.

В результате оценивания методики стало ясно, что опциональными («если применимо») могут считаться большее количество критериев, чем предполагалось изначально. Например, данная методика является сокращенной версией другой, уже существующей методики, поэтому вопросы о создании заданий для нее неактуальны, зато актуальны вопросы о методе отбора заданий для краткой версии теста. В модель были внесены изменения, сделавшие ее более гибкой (больше решений остается на усмотрение эксперта-оценщика).



В целом, очевидно, что для того, чтобы модель оценивания тестов можно было использовать в российских условиях, она должна быть приспособлена к уступкам и компромиссам (например, чтобы отсутствие руководства пользователя не считалось противопоказанием к экспертизе). Но при этом она должна быть достаточно подробной и соответствовать современным требованиям, чтобы по ней можно было оценивать тесты, разработанные по «западным» подходам (с соблюдением всех необходимых требований, этапов, с использованием современной теории тестирования и т.п.), поскольку таких инструментов в российской практике становится все больше.



Достарыңызбен бөлісу:
1   2   3   4   5   6   7   8   9   10   ...   15




©dereksiz.org 2024
әкімшілігінің қараңыз

    Басты бет