Контроль учебных достижений обучающихся как фактор внедрения кредитной системы обучения в условиях модернизации казахстанского общества

Критерии оценки качества тестов

k - количество альтернатив в тесте.

Например, в тесте из тридцати заданий оказалось: R_i = 22, W_i =5, k=5. Тогда скорректированный на догадку индивидуальный балл студента вместо двадцати двух будет равняться 20.

Применение формулы (7) основано на двух предположениях: тот, кто не знает ответа, выбирает его наугад; все задания имеют одинаковую трудность. Оба эта предположения можно отнести к числу "слабых". По поводу первого можно заметить, что иногда достаточно легкого намека, чтобы студент мог угадать правильный ответ; поэтому его выбор часто не является случайным. Второе из них касается трудности заданий.

Эффект угадывания существенно уменьшает увеличение числа заданий в тесте. Такое же действие оказывает увеличение числа ответов (альтернатив) в каждом задании, но этот путь оказывается неудобным с нескольких точек зрения, а именно: усложняется конструирование теста, так как трудно подобрать более пяти правдоподобных, равнопривлекательных ответов. Эту процедуру можно рассчитать следующим образом.

Специалисты по тестам предлагают ввести коррекцию на догадку и из окончательной суммы баллов вычесть вероятное число баллов, которое может быть набрано за счет догадки. Если, например, в каждом задании студенту предлагается из пяти ответов выбрать один, наиболее правдоподобный, то вероятность угадывания правильного ответа равна 1/5. Вероятность того, что он угадает правильные ответы во всех заданиях теста, состоящего из 50 заданий, ничтожно мала и равна (1/5)⁵⁰. При этом делается предположение о равновероятной привлекательности всех пяти вариантов ответов (альтернатив) каждого задания и о том, что студент действительно выбирает ответы наугад. Например, педагог составил пробный тест из десяти заданий, содержание каждого из которых студенты отмечают как "верное" или "неверное". Из соображений простоты допустим равновероятную привлекательность каждой, альтернативы; вероятность угадывания в каждом задании равна 1/2, распределение этих вероятностей подчиняется биномиальному закону:

Подставляя последовательно в формулу (8) значения т от нуля до десяти, при р = q = 1/2,получим следующее распределение (табл.).

Из табл.3.4 видно, что вероятность угадывания правильных ответов во всех десяти заданиях очень мала, так же как мала вероятность того, что студент вообще не угадает правильный ответ хотя б на один вопрос. Вероятность получения пяти правильных ответов сравнительно высока и равна 0,246. С целью ее снижения в задание вводится вместо двух обычно четыре или пять альтернатив (р соответственно равняется 0,25 и 0,20). Это существенно снижает вероятность догадки. Например, рассчитаем р по формуле () при р=0,25 (при условии, что в каждом задании даются на выбор четыре альтернативы).

В таком случае вероятность угадывания пяти правильных ответов равняется существенно меньшей величине:
Р = С⁵_{10 *} (0,25)⁵_*(0,75)⁵ = 0,058 (9)
Подставляя в формулу () различные значения, можно рассчитать соответствующую вероятность угадывания количества правильных ответов. В табл. приведен расчет вероятности угадывания правильных ответов теста, состоящего из 10 заданий и при наличии 4 вариантов ответа.
Таблица 3.5

Количество угаданных ответов
0	1	2	3	4	5	6	7	8	9	10
Вероятность угадывания
0,056	0,188	0,281	0,250	0,146	0,058	0,016	0,003	0,00038	0,000	0,000

Из табл.3.5 видно, что, отвечая наугад тест из 10 заданий, студент может угадать два - три правильных ответа. Кроме того, увеличение числа заданий в тесте при четырех или пяти альтернативах в каждом задании существенно уменьшает эффект угадывания всех заданий теста с вероятностью, близкой к нулю.

Говоря о преимуществах тестового метода оценки знаний, необходимо специально отметить, что эти преимущества проявляются не всегда и не везде. Во - первых, не всякий тест лучше экзамена, а только тот, который проверен на надежность и валидность. Этот этап является в тестологии наиболее важным и мало освещен в отечественной литературе.

Как измерительное средство тест должен соответствовать определенным показателям: надежности, валидности, объективности [43]. Надежность теста означает, что он показывает одни те же результаты неоднократно, в сходных условиях. Валидность означает, что тест обнаруживает и измеряет уровень усвоения именно тех знаний, которые хочет измерить разработчик теста. Объективность означает, что при измерении используются средства, дающие точные и полные сведения об уровне знаний, умений и навыков тестируемых.

Основная идея проверки надежности сводится, во - первых, к определению того, что считать ошибочным компонентом измерения и, во - вторых, к нахождению меры надежности. Так называемая классическая теория тестов исходит из предположения о применении параллельных тестов, отличающихся по форме, но одинаково измеряющих одно и то же. Эти тесты сконструированы на основе единой теории, имеют одинаковое число заданий и одинаковые эмпирические результаты (на одних и тех же испытуемых), то есть средние арифметические показатели и дисперсии равны. Отсюда различия между параллельными заданиями рассматриваются как ошибки, варьирующие по нормальному закону с дисперсией S_e² . Отношение дисперсии ошибок к общей дисперсии по всему тесту S_t² дает долю ошибочности измерения: S_e²/S_t². Принимая максимум надежности равным единице, находят коэффициент надежности теста:

Для расчета r_нтк тест разбивается на две части: в одну входят результаты четных (по номерам) заданий (2, 4, 6 и т.д.), в другую - нечетных. В качестве ошибочного компонента в формуле ( ) могут рассматриваться различия d в сумме (c учетом знака) результатов в этих частях.

Дисперсия различий находится по формуле:
Se2 = ∑ d2/N – (∑d)2/N2 (11)
где п - количество заданий.

Кроме того, для оценки надежности может быть использована формула Л. Гутмана

На надежность теста влияют различные факторы, среди которых можно выделить следующие:

• 
  понятность каждого задания каждому испытуемому;
  
• 
  наличие обоснованной и надежной систем оценок за выполнение заданий;
  
• 
  надежность (стабильность) состояния испытуемых в процессе тестирования;
  
• 
  мера объективности экзаменаторов.
  

Иногда количественная мера объективности теста представляется в виде коэффициента корреляции r, когда коррелируются данные, полученные одним педагогом с данными, полученными на тех же испытуемых, в тех же условиях другим. Тест не может быть объективным и в то же время ненадежным; если он надежен, то это предполагает объективность. Поэтому в практике тестирования главное вниманию уделяется проверке теста на надежность. Повышению объективности и надежности способствуют: яснее и детализованные инструкции к тесту; простота процедуры тестирования; применение, где возможно, простых инструментальных методов измерения; отбор помощников, специально подготовленных по единой программе; строгое соблюдение условий тестирования, предупреждение возможности общения студентов в процессе выполнения заданий теста и др.

Все отмеченные, а также и другие факторы, меняются от исследования к исследованию, и вариация по каждому фактору привносит свою ошибку в общий результат измерения. Отсюда становится ясным, что абсолютно надежных тестов нет: надежность даже одного и того же теста - величина переменная - в разных группах и в разных условиях. Без специальной проверки теста на надежность результатам того или иного автора можно доверять или не доверять ввиду полной неопределенности - неизвестно, надежны данные в его исследовании или нет, и если надежны, то в какой мере. Отсюда следует вывод о том, что педагогическое исследование, связанное с измерениями, не должно публиковаться без специальной проверки данных на надежность.

5. 
   
   жүктеу/скачать 1.15 Mb.
   
   Достарыңызбен бөлісу: