Контроль учебных достижений обучающихся как фактор внедрения кредитной системы обучения в условиях модернизации казахстанского общества

Методы оценки надежности тестов

Студентам дается вначале одна форма теста, а через некоторое время - другая. Результаты коррелируются, полученный коэффициент указывает на стабильность в знаниях обучающихся. Полученные таким методами коэффициенты надежности, лучше называть коэффициентом стабильности и эквивалентности. Коли же вначале дается одна форма теста, а затем сразу же, без перерыва, вторая, то устраняя, таким образом, влияние ошибочных компонентов, связанных со стабильностью ответов испытуемых по истечения времени, в обеих формах получают информацию об эквивалентности заданий. Полученный коэффициент корреляции указывает на надежность параллельных форм теста, а точнее, на их эквивалентность; поэтому в этом случае коэффициент надежности лучше называть коэффициентом эквивалентности.

∑p_ig_i - сумма дисперсий отдельных заданий.

Полученный коэффициент корреляции указывает на надежность теста в зависимости от надежности каждого отдельного задания, поэтому его лучше называть коэффициентом внутренней состоятельности теста.

Надежность теста тем выше, чем меньше дисперсия ошибочного компонента измерения и чем больше общая дисперсия. Следовательно, надежный тест лучше различает сильных и слабых обучающихся: их оценки должны быть более дифференцированными. Заметим, что существующая сейчас в практике система оценок в вузе и школе от двух баллов до пяти имеет главным недостатком именно малый размах и обладает соответственно низкой дифференцирующей способностью.

Другой причиной недостаточной величины надежности теста обычно является малое количество заданий. В теории тестов известны соотношения между числом эквивалентных заданий и надежностью. На этом основана другая формула Спирмана - Брауна, позволявшая оценить, как увеличится надежность теста при увеличении количества заданий в n раз:
r = nr_нт /r_нт[ (n - 1) +1] (15)
где r - увеличенная надежность удлиненного теста;

п - кратность увеличения количества заданий в тесте.

Перечислим способы повышения надежности теста:

• 
  - увеличение количества заданий различной трудности, и особенно средней трудности, таких, которые хорошо коррелировали бы с общей суммой баллов и некоторым образом между собой;
  
• 
  - увеличение размаха оценок, а, следовательно, и общей дисперсии теста;
  
• 
  - уменьшение ошибочного компонента, что достигается строгой стандартизацией процедуры тестирования, понятностью вопроса, единым уровнем мотивации ответов у студентов др.
  

• 
  валидность по содержанию;
  
• 
  прогностическая валидность тестов.
  

Таким образом, под валидностью понимается мера пригодности и обоснованности теста для измерения того, что им намереваются измерять. Процедура проверки тестов на соответствие этому критерию называется валидизацией.

Имеются различные методы валидизации тестов, среди которых чаще всего применяются методы, связанные вначале с нахождением критерия, а затем с коррелированием полученных результатов теста с критерием. Мерой валидности каждого теста служит коэффициент корреляции: валидность теста соответственно бывает тем выше, чем выше эта корреляция. Отсюда становится понятной важная роль нахождения таких критериев, по которой можно с большой уверенностью выносить обоснованные суждения относительно качества тестов. Критерием могут быть такие показатели, как: успешность в учебе (объем или быстрота научения), успешность в работе после окончания вуза и др.

При этом прогностическая валидность теста во многом зависит не только от надежности самого теста, но и от надежности критерия. В практике не всегда удается подобрать высоконадежный критерий, а так как тесты подбираются по критерию, то часто возникает вопрос: какой валидностью обладал бы тест, если бы надежность критерия была максимальной, равной единице? В таких случаях применяется так называемая коррекция на ненадежность. Цель коррекции - выяснить вопрос о том, какой теоретически могла бы оказаться валидность теста, если:

а) надежность теста равнялась единице;

б) надежность критерия равнялась единице;

в) надежность и теста и критерия равнялась единице.

Коррекция на ненадежность теста и критерия проводится по формулам:

для случая а) r_квт = r_вт/√r_нт

для случая б) r_квт = r_вт/(√r_нк

для случая в) r_квт = r_вт/(√r_нл√ r_нт)

Во всех формулах символы означают:

r_квт - корректированная валидность теста;

r_вт - валидность теста;

r_нк. - надежность критерия;

r_нт - надежность теста.

Условно - прогностическая валидность. В практике, для того чтобы коррелировать результаты тестов с итоговыми результатами (критерием) и получить коэффициенты прогностической валидности, часто бывает необходимо знать прогностическую валидность теста в момент исследования, не дожидаясь того времени, когда, например, курсант станет летчиком, а абитуриент медицинского вуза - терапевтом. Поэтому часто прибегают к следующему приему. Тесты, предназначенные для отбора абитуриентов, вначале даются группе лиц, уже закончивших вуз по данной специальности. Далее результаты коррелируются с оценками их производственной деятельности, оценками руководителей, показателями достижений. Только те тесты, которые имеют значимые корреляции, попадают в предварительную «батарею» тестов, применяемых затем при отборе абитуриентов соответствующего профиля. По итогам расчетов результатов обработки данных, делается прогноз об условной вероятности успеха в обучении для поступающих. Реальность предположения подтверждается по истечении срока обучения тех, кого набирали с помощью тестов, имеющих условно - прогностическую валидность. Если подтверждается эффективность теста, то приставка «условно» снимается и считается, что тест действительно обладает прогностической ценностью. Процедура перепроверки подтверждения и коррекции валидности теста («валидизация»), обычно проводится несколько раз, в нескольких группах, с целью получения устойчивых (генерализованных) показателей.

Одним из наиболее распространенных эмпирических способов валидизации тестов является так называемый метод известных, или контрастных, групп, суть которого поясним на примере. Если, скажем, нужно валидизировать тест для выявления интересов к техническому творчеству, то подбираются две группы лиц (N≥30, но не более 100), известных, по заключению специалистов, как группы тех, кто: активно занимается в технических кружках и имеет успехи; не интересуется и не занимается техникой.

Затем возникает задача подобрать такие вопросы, чтобы группы в своих ответах по возможности четко различались. Если на какое - либо утверждение ответы в обеих известных группах статистически достоверно различаются (одни говорят "верно", другие"неверно"), то это означает, что вопрос рассекает эти группы, он отделяет лиц одной группы от лиц другой. Весь тест составляется из отобранных таким образом заданий (обычно более тридцати).

Существуют тесты, имевшие высокую прогностическую валидность, но состоящие из большого количества заданий (длинный тест) и, следовательно, неудобные в практической работе в связи с большой затратой времени. Возникает задача: нельзя ли иметь короткий тест, который бы обладал сравнительно меньшей, но достаточно высокой прогностической валидностью, какой обладает длинный тест? Для решения этой задачи применяется либо часть длинного теста, либо конструируется заново короткий тест. Затем результаты короткого теста коррелируются с результатами длинного теста, и если полученные коэффициенты оказываются удовлетворительными, то принимается, что короткий тест имеет прогностическую валидность по отношению к длинному тесту.

Имеется валидный тест, но пригодный только для индивидуального опроса, и есть необходимость создать тест, который можно было бы применять в группе. Если окажется, что групповой тест столь же эффективен, как и индивидуальный, то считается, что групповой тест обладает прогностической валидностью, то нет смысла, в дальнейшем, пользоваться его индивидуальной формой.

Имеется также валидный тест, но связанный с необходимостью применения дорогостоящей аппаратуры, специального оборудования и др. В таком случае появляется необходимость предложить такой тест, который был бы валидным, но в то же время не требовал больших расходов. Если удается сконструировать тест, валидно измеряющий без применения технических средств то же, что и дорогостоящий тест, то такой тест также обладает прогностической валидностью.

6. 
   
   жүктеу/скачать 1.15 Mb.
   
   Достарыңызбен бөлісу: