Инструкция для эксперта и модель экспертизы тестов Приложение 3 Лист рейтинга по результатам экспертизы теста



жүктеу/скачать 0.52 Mb.
бет8/15
Дата16.07.2016
өлшемі0.52 Mb.
#203078
түріИнструкция
1   ...   4   5   6   7   8   9   10   11   ...   15

Литература





  1. American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (1999). Standards for educational and psychological testing. Washington, DC: American Educational Research Association

  2. Arne Evers, The Internationalization of Test Reviewing: Trends, Differences, and Results, International Journal of Testing, Volume 12, Issue 2, 2012, pages 136-156, DOI: 10.1080/15305058.2012.658932

  3. Arne Evers, The Revised Dutch Rating System for Test Quality, International Journal of Testing, 1(2), 155–182

  4. Arne Evers; Klaas Sijtsma; Wouter Lucassen; Rob R. Meijer, The Dutch Review Process for Evaluating the Quality of Psychological Tests: History, Procedure, and Results, International Journal of Testing, Nov 2010, DOI: 10.1080/15305058.2010.518325

  5. Carmen Hagemeister, Martin Kersting & Gerhard Stemmler, Test Reviewing in Germany International Journal of Testing Volume 12, Issue 2, 2012 Special Issue: International Approaches to Test Reviewing DOI: 10.1080/15305058.2012.657922

  6. Dave Bartram Concluding Thoughts on the Internationalization of Test Reviews, International Journal of Testing, Volume 12, Issue 2, 2012, DOI: 10.1080/15305058.2011.649869

  7. Dave Bartram, Psychological Assessment, Standards and Guidelines for, Encyclopedia of Applied Psychology Elsevir, 2004, Pages 143–147, ISBN: 978-0-12-657410-4


  8. Dave Bartram, The Development of International Guidelines on Test Use: The International Test Commission Project, International Journal of Testing , Volume 1, Issue 1, 2001, pages 33-53, DOI: 10.1207/S15327574IJT0101_3

  9. EFPA review model for the description and evaluation of psychological and educational tests, test review form and notes for reviewers, Version 4.2.6, 2013

  10. Evers A., Muniz J., Hagemeister C., Hstmæligen A., Lindley P., Sjöberg A., Bartram D. Assessing the quality of tests: Revision of the EFPA Review Model. Psicothema 2013, Vol. 25, No 3, 283-291, doi: 10.7334/psicothema2013.97

  11. Evers, A. (2001b). The revised Dutch rating system for test quality. International Journal of Testing, 1, 155–182.

  12. Evers, A., Sijtsma, K., Lucassen, W., & Meijer, R. R. (2010). The Dutch review process for evaluating the quality of psychological tests: History, procedure and results. International Journal of Testing, 10, 295–317.

  13. International Guidelines for Test Use DOI: 10.1207/S15327574IJT0102_1 International Test Commission pages 93-114

  14. International Guidelines for Test Use International Test Commission Published online: 13 Nov 2009.

  15. International guidelines for test use Version 2000, ITC, 1999

  16. Janet F. Carlsona & Kurt F. Geisingera , Test Reviewing at the Buros Center for Testing, International Journal of Testing, Volume 12, Issue 2, 2012 pages 122-135, DOI: 10.1080/15305058.2012.661003

  17. José Muñiz, José R. Fernández-Hermida, Eduardo Fonseca-Pedrero, Ángela Campillo-Álvarez & Elsa Peña-Suárez Test Reviewing in Spain International Journal of Testing Volume 12, Issue 2, pages 176-184, 2012 DOI: 10.1080/15305058.2012.661817

  18. Kress Gunter and Van Leeuwen Theo (2001) ‘Multimodal discourse. The modes and media of contemporary communication’, Arnold, London.

  19. Kurt F. Geisinger, Worldwide Test Reviewing at the Beginning of the Twenty-First Century International Journal of Testing, Volume 12, Issue 2, pages 103-107 2012 DOI: 10.1080/15305058.2011.651545

  20. Lindley Patricia A., Bartram Dave, Use of the EFPA Test Review Model by the UK and Issues Relating to the Internationalization of Test Standards International Journal of Testing , Vol. 12, Iss. 2, 2012 , doi:10.1080/15305058.2011.652267

  21. Paula Elosua & Dragos Iliescu, Tests in Europe: Where We Are and Where We Should Go, International Journal of Testing, Volume 12, Issue 2, 2012 pages 157-175, DOI: 10.1080/15305058.2012.657316

  22. Батурин Н.А. Современная психодиагностика в России: преодоление кризиса и решение новых проблем, 24 мая 2011г http://www.ht.ru/cms/component/content/article/1-2009-10-07-15-17-12/101528


  23. Ефремова Н. Тестовый контроль в образовании: Университетская книга, Логос; Москва; 2007 ISBN 5–98704–138–4

  24. Карданова Е.Ю., Нейман Ю.М. Проблема выравнивания в современной теории тестирования // Вопросы тестирования в образовании. – 2003, № 8

  25. О сертификации методик http://www.cc.psytest.ru/ru/Sertifikacija_metodik

  26. Осин Е. Н., Рассказова Е. И., Краткая версия теста жизнестойкости: психометрические характеристики и применение в организационном контексте Вестн. Моск. Ун-та. сер. 14. психология. 2013. № 2

  27. Осин Е.Н. Факторная структура краткой версии Теста жизнестойкости, Организационная психология, 2013.Т. 3. №3. С.. 42–60

  28. Постановление Президиума Российского психологического общества от 4 июля 2008 года

  29. Приказ министерства образования российской федерации от 17 апреля 2000 г. № 1122 «О сертификации качества педагогических тестовых материалов».

  30. Тюменева Ю.А., Яременко А.А., Руководство для авторов, публикующих результаты разработки оценочного инструмента, Вопросы образования, №1, 2013 СС 301-306, Москва

  31. Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. - M.: Логос, 2002. - 432 с.

  32. Шмелев А.Г., «Практическая тестология: Тестирование в образовании, прикладной психологии и управлении персоналом», М., «Маска», 2013

Приложения



Приложение 1

Голландская модель экспертизы тестов CoTAN (2009)



1.Теоретические основы теста.

    1. Ключевой вопрос: Указана ли цель тестирования?

а. Описано ли, какой конструкт (конструктыы) должен измеряться тестом?

b. Указано ли, для какой группы (групп) предназначен тест?

c. Описана ли область применения теста?

Если ответ на все три вопроса отрицательный, переходите к пункту 2.1


    1. Описан ли источник идеи создания теста и/или ясно ли сформулирован измеряемый конструкт (конструкты)?

    2. Можно ли доказать релевантность содержания теста по отношению к измеряемому конструкту (конструктам)?

  1. Качество тестовых материалов, бланковое тестирование

    1. Ключевой вопрос: Стандартизованы ли задания теста?

    2. a. Ключевой вопрос: Имеется ли объективная система подсчета баллов? и/или

2.2. b. Ключевой вопрос: Если для оценки выполнения теста предусмотрено участие экспертов или наблюдателей, имеется ли ясная и подробно описанная система правил оценивания/наблюдения.

    1. Ключевой вопрос: Можно ли сказать, что в заданиях не содержится расистской, этноцентрической, сексистской или другой оскорбительной для отдельных групп людей информации?

Если ответы на любой из перечисленных выше ключевых вопросов отрицательны, переходите к пункту 3.1

    1. Можно ли сказать, что дизайн заданий, буклетов, ответных шкал и ответных листов создан таким образом, чтобы избежать ошибок при заполнении?

    2. Можно ли сказать, что инструкции для испытуемых по выполнению теста полные и ясные?

    3. Корректно (правильно) ли сформулированы вопросы?

    4. Каково качество тестовых материалов?

2.8 Устроена ли система подсчета баллов таким образом, чтобы избежать ошибок в расчетах?
2.Качество тестовых материалов, компьютеризированная версия

2.9 Ключевой вопрос: Стандартизированы ли задания теста и понятны ли правила принятия решения в случае адаптивного тестирования?

2.10 Ключевой вопрос: Компьютеризирован ли подсчет баллов или имеется ли объективная система подсчета баллов?

2.11 Ключевой вопрос: Можно ли сказать, что в заданиях не содержится расистской, этноцентрической, сексистской или другой оскорбительной для отдельных групп людей информации?



Если ответы на любой из перечисленных выше ключевых вопросов отрицательны, переходите к пункту 3.1

2.12 Создано ли программное обеспечение таким образом, чтобы можно было избежать ошибок вследствие неправильного использования?

2.13 Ясные ли и полные ли инструкции для испытуемых?

2.14 Корректно ли (правильно ли) сформулированы задания?

2.15 Каково качество дизайна интерфейса для пользователя?

2.16 Удовлетворительна ли защищенность теста (защищенность информации и результатов)?




  1. Полнота руководства пользователя




    1. Ключевой вопрос: Имеется ли руководство по использованию теста?

Если ответ отрицательный, переходите к пункту 4.1

3.2 Можно ли сказать, что инструкции для администратора теста четкие и полные?

3.3 Указано ли, какие есть варианты использования теста у того, кто его проводит, и какие имеются ограничения использования теста?

3.4 Опубликовано ли в инструкции резюме исследования по тесту?

3.5 Даны ли примеры случаев из практики (кейсов) того, как можно интерпретировать тестовые баллы?

3.6 Указано ли, информация какого рода может пригодиться для интерпретации тестовых баллов?

3.7 Указано ли, какая профессиональная квалификация необходима для администрирования и интерпретации теста?

Дополнительные вопросы для компьютеризированного тестирования

3.8 Предоставлена ли информация о том, как установить на компьютере тестовую программу?

3.9 Дана ли информация, как пользоваться программным обеспечением и какие есть опции (варианты выбора)?

3.10 Достаточно ли обеспечена техническая поддержка?




  1. НОРМЫ

    1. Ключевой вопрос: Предоставлены ли нормы?

    2. Ключевой вопрос: Эти нормы текущие?

Если оценка одного из перечисленных выше вопросов негативна, переходите к п. 5.1

Нормативно-ориентированная интерпретация теста

    1. Ключевой вопрос: Каково качество предоставленных групп стандартизации?

А. Достаточного ли они размера?

В. Репрезентативны ли они по отношению к целевой аудитории?



Если ответы на любой из перечисленных выше вопросов отрицательный, переходите в к вопросу 5.1

4.4 Описаны ли преимущества и ограничения для использования выбранного типа шкалы и показано ли, что шкала соответствует целям теста?



    1. Имеется ли информация о среднем значении, стандартном отклонении и распределении баллов?

    2. Имеется ли информация о возможных различиях между подгруппами (например, по половому или этническому признаку)

    3. Имеется ли информация о точности измерения и подобающих интервалах доверия:

А. Стандартной ошибки измерения или

В. Стандартной ошибки расчетов/оценивания или

С. Функция тестовой информации.

Предметно-ориентированное тестирование


    1. Удовлетворительный ли уровень согласованности между экспертами?

    2. Правильны ли процедуры для определения порогового балла?

    3. Подобающим ли образом были отобраны и обучены эксперты?

Критериально-ориентированное тестирование

    1. Подтверждают ли исследования оправданность пороговых баллов?

    2. Согласуется ли состав исследовательской группы с целями теста?

    3. Достаточного ли размера была группа исследования?

  1. НАДЕЖНОСТЬ

    1. Ключевой вопрос: Имеется ли информация о надежности теста?

Если ответ отрицательный, переходите к п. 6.1

    1. Соответствуют ли результаты исследования надежности теста тому типу решений, которые принимаются на основания этого теста?

a). Надежность параллельных форм

b) Надежность, основанная на связях между заданиями (Внутренняя устойчивость)

c) Ретестовая надежность

d) Согласованность оценок экспертов

е) Методы IRT

f) Методы, основанные на структурном моделировании или теории обобщаемости (generalizability theory)

5.3 Каково качество исследования надежности?

a). Правильны ли процедуры вычисления коэффициентов надежности?

b). Соответствуют ли выборки, по которым вычислялись коэффициенты надежности, целям и области использования теста?

c). Можно ли обоснованно судить о надежности теста на основании предоставленной информации?




  1. КОНСТРУКТНАЯ ВАЛИДНОСТЬ

    1. Ключевой вопрос: Имеется ли информация о конструктной валидности теста?

Если ответ отрицательный, переходите к п. 7.1

    1. Подкрепляют ли результаты исследования валидности описание предполагаемого конструкта/конструктов, или проясняют ли результаты исследования валидности что именно измеряется тестом на основании информации о:

a) размерности баллов?

b) психометрических качествах заданий?

c) инвариантности факторной структуры и потенциальных искажения/смещениях (bias) заданий по подгруппам?

d) конвергентной и дискриминативной валидности?

e) разницы в средних баллах между релевантными группами?

f) других сведений.

6.3 Каково качество исследования конструктной валидности?

a). Правильны ли процедуры, использованные при получении и обработке данных конструктной валидности?

b).Соответствуют ли выборки, использованные при исследовании конструктной валидности, предполагаемому использованию теста?

c).Каково качество других измерений, использованных при исследовании конструктной валидности?

d).Достаточно ли высоко качество исследования, как отмечалось в вопросах 6.3с-6.3с. чтобы подтвердить оценку конструктной валидности, данную в вопросе 6.2?
7 Критериальная валидность

7.1 Ключевой вопрос: Имеется ли информация о критериальных связях теста с другими инструментами?



Если ответ отрицательный, можно пропустить пункты 7.2 и 7.3

7.2 Достаточны ли результаты исследования валидности по отношению к тому типу решений, которые должны приниматься на основании теста?

7.3 Каково качество исследования критериальной валидности?

a). Правильны ли процедуры, использованные при получении и обработке данных по критериальной валидности?

b). Соответствуют ли выборки, использованные при исследовании критериальной валидности, предполагаемому использованию теста?

c). Каково качество измерения критериев?



d). Достаточно ли высоко качество исследования, как отмечалось в вопросах 73с-7.3с. чтобы подтвердить оценку конструктной валидности, данную в вопросе 7.2?

жүктеу/скачать 0.52 Mb.

Достарыңызбен бөлісу:
1   ...   4   5   6   7   8   9   10   11   ...   15



©dereksiz.org 2024
әкімшілігінің қараңыз
    Басты бет