ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ТЕСТОВОГО КОНТРОЛЯ В ОБУЧЕНИИ

ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ТЕСТОВОГО КОНТРОЛЯ В ОБУЧЕНИИ

1. Введение

Сегодня уже разработаны и реализуются основные мероприятия в рамках этих программ и концепций: введены государственные общеобязательные стандарты образования, происходит промежуточный государственный контроль обучения студентов вузов, предусматривается отмена выпускных экзаменов в полной общеобразовательной школе и вступительных испытаний в учреждениях профессионального образования и т.д. Все эти мероприятия подразумевают использование объективных и экономичных методов контроля их выполнения.

Практика проведения оценочных мероприятий показала неподготовленность педагогов, общественности к проведению процедуры тестирования и применению тестовых технологии. Анализ практики обучения показывает, что педагоги общеобразовательных и профессиональных школы не обладают знаниями теоретических основ педагогической диагностики и не владеют инструментальными основами тестовых технологий. Диагностика результатов обучения тестовым методом требует специальных знаний и умений педагогов по проектированию, конструированию, применению диагностических тестов, а также по анализу качества применяемого тестового инструментария и интерпретации получаемых результатов.

В настоящее время применяемый для диагностики результатов обучения тестовый инструментарий претерпел изменения. В педагогической практике стали применяться критериально - ориентированные, логико - ориентированные тесты [92]. Изменения произошли и в принципах отбора содержания, форме тестовых заданий, методах статистической обработки результатов тестирования. На смену классической теории пришли Generalizability Theory (Brerman, 1992) и Item Response Theory, обладающие значительными преимуществами. К ним относятся наличие единой интервальной шкалы для оценки параметров испытуемых и заданий теста, возможность создания адаптивных тестов выявления структуры знаний учащихся.

Современная теория педагогических измерений Item Response Theory (IRT) позволяет путем использования параметрических методов получить представление о латентных параметрах обучаемых. Благодаря специальным математическим моделям к эффективному математическому аппарату, построенному на итерационных процессах, в рамках IRT появляется возможность перейти от внешних признаков наблюдаемых результатов выполнения теста - к оценкам имманентных параметров испытуемых, ассоциируемых с константами обучаемых на момент измерения.

Задачей данного раздела настоящего издания является ознакомление будущих педагогов с основами теории педагогических тестов, которая сложилась как междисциплинарное научное направление на стыке педагогики, психологии (теории измерений) и математической статистики. Это направление стало наиболее интенсивно разрабатываться в течение последних тридцати лет и приобрело наибольшую актуальность в связи с повышенными требованиями, которые научно - технический прогресс предъявляет к человеку, его знаниям и способностям [49].

Среди педагогов есть как сторонники, так и противники тестирования, и это вполне закономерно, так как тесты имеют свои сильные и слабые стороны. Не все необходимые характеристики усвоения можно получить средствами тестирования. Такие, например, показатели, как умение конкретизировать свой ответ примерами, умение связно, логически и доказательно выражать свои мысли, диагностировать тестированием невозможно. Это значит, что тестирование следует обязательно сочетать с другими методами педагогической диагностики и педагог - практик должен знать границы применения тестирования. Критическое отношение к тестированию, понимание его закономерностей позволит педагогу адекватно использовать тесты для оптимизации педагогического процесса.

Соответствие критериям надежности, валидности и стандартизации делает применение педагогических тестов делом перспективным, экономически обоснованным и целесообразным с разных точек зрения.

2. Содержание и структура тестов

В педагогической практике существует множество средств и форм контроля знаний, в разной мере отвечающие требованиям, предъявляемым к контролю и оценке. В литературе часто обсуждаются недостатки применяемой сейчас традиционной системы оценок успеваемости, а также противоречивость и расплывчатость инструкций по их исполнению. Недостатками традиционных эмпирических методов контроля, к которым относятся устный опрос и письменная контрольная работа, являются:

• 
  субъективность оценок;
  
• 
  недостаточная воспроизводимость результатов;
  
• 
  маленький объем проверяемого содержания учебного материала по сравнению с общим объемом всей учебной дисциплины;
  
• 
  различная сложность заданий (в частности в экзаменационных билетах), которые призваны однозначно оценить подготовленность имеющих равный статус испытуемых;
  
• 
  различное количество и объем предъявляемых испытуемым в виде дополнительных вопросов заданий;
  
• 
  высокая степень психического напряжения испытуемого при личном общении с экзаменатором;
  
• 
  •низкая дифференцирующая возможность традиционной четырехбалльной шкалы оценок
  

Самые первые образцы тестов появились в конце XIX века. Широкое распространение они получили в англоязычных странах с 20 - х годов прошедшего столетия. На дальнейшую постановку и решение вопросов оценки знаний студентов тестами в высшей школе повлияла ошибочное толкование в прошлом Постановления «О педологических извращениях в системе Наркомпросов» от 4.07.1936 г [113]. Как известно, в этом постановлении справедливо осуждалась негодная практика использования психологических тестов и анкет сомнительного качества для оценки умственных способностей детей. По мнению А.К.Леонтьева, А.Р.Лурия и А.А.Смирнова неоправданно расширенное толкование этого постановления в последующие годы привело к отказу от разработки научно - обоснованных методов диагностического исследования. В результате этого органы образования перестали, по - настоящему, заниматься разработкой педагогических тестов, направленных преимущественно на оценку знаний, а не на оценку интеллекта. Начиная с тридцатых годов, в отечественной педагогике утвердился, в целом, критический тон по отношению к тестам, и только в последние годы наблюдается изменение в этой области - появился ряд работ, обладающих научной ценностью в этих вопросах.

Тест отличается от экзаменационных билетов, вопросников, контрольных заданий, примеров, задач т.д. тем, что он представляет собой подготовленный специальным образом контрольный набор заданий, позволяющий надежно оценить знания учащихся посредством разработанных для этого статистических методов. Тест - это система формализованных заданий, предназначенных для установления соответствия образовательного (квалификационного) уровня человека требованиям образовательных (квалификационных) характеристик. Применение тестов не исключает использования других средств контроля знаний, имеющихся в распоряжении педагога.

Педагогическое тестирование - это метод измерения результатов обучения учащихся, инструментом в котором является дидактический тест, а средством оценивания - шкалирование. Это - широкое значение тестирования. Под тестированием также понимают процедуру измерения, т.е. собственно применение теста к конкретным учащимся. Целями тестирования могут быть: итоговая аттестация и аккредитация вуза, оценка эффективности работы того или иного подразделения вуза, преподавателя, отдельного студента, выявление структуры знаний у обучающихся, диагностика усвоения знаний, выявление пробелов, профориентация и профотбор и т.д. Это - понимание тестирования в узком смысле.

Дидактический тест - это система связанных предметным содержанием заданий специфической формы, позволяющая осуществлять квалиметрические процедуры измерения и оценки результатов обучения - знаний, умений и навыков испытуемых. Здесь уместно выделить два типа тестов. Один можно назвать самодеятельным - такой тест готовит сам педагог, другой - стандартизованным, который обычно конструируется специалистами по тестам и стандартизуется на выборке из генеральной совокупности тех студентов, для оценки знаний которых он создан.

Тесты, как правило, применяются в стандартной ситуации, в одинаковых для всех студентов условиях, когда они отвечают на одни и те же вопросы; на подготовку к ответам всем отводится одинаковое время. Таким образом, характерная особенность процесса тестирования - стандартизация; по итогам которого студент получает тестовый балл. Тестирование также как любой другой метод контроля, не лишен недостатков и сложностей, среди которых можно отметить:

• 
  составление тестовых заданий требует определенной квалификации и под силу далеко не каждому педагогу;
  
• 
  отдельные ответы могут содержать элементы подсказки;
  
• 
  тестирование позволяет достаточно надежно проверить знания, а уровень сформированности умений, профессионального мышления будущего специалиста с помощью педагогических гестов можно проверить только опосредованно;
  
• 
  относительная сложность и дороговизна создания хорошего теста, проверенного на множестве выборок из генеральной совокупности и имеющего устойчивые коэффициенты надежности и валидности;
  
• 
  необходимость технических средств, что также увеличивает расходы на обучение, но, вместе с тем, повышает его эффектность.
  
• 
  Применение педагогических тестов дает возможность:
  
• 
  сократить учебное время на контроль и оценку и использовать его более продуктивно на сообщение новой информации;
  
• 
  объективно оценить знания и быстро информировать о результатах тестирования (экспресс - контроль);
  
• 
  выявить эффективность работы каждого педагога сравнительно с работой других;
  
• 
  оценить эффективность обучения в конкретном вузе, школе и в другом учебном заведении в соответствии с установленными требованиями;
  
• 
  проверить сравнительную эффективность традиционных и экспериментальных методов, учебников, спецкурсов и др.;
  
• 
  существенно упростить процедуру приема в вузы, минимизировать ошибки, значительно снизить психическую напряженность у абитуриентов и их родителей;
  
• 
  оценить, помимо знаний, способности к обучению;
  
• 
  оперативно обнаружить трудности, связанные с процессом обучения;
  
• 
  широко применять технические устройства, ЭВМ и тем самым существенно повысить эффективность труда педагогов.
  

• 
  тесты достижений, измеряющие уровень знаний;
  
• 
  личностные тесты, которые обнаруживают социально - психологические качества личности.
  

Второй подход дает тесты, ориентированные на критерий. Он имеет большое распространение сегодня и состоит в том, что индивидуальные результаты тестирования сопоставляются с заранее определенными критериями. Большое значение в этом случае имеет разработка критериев, основанная на анализе учебного материала и определяющая, что собственно должны знать и уметь обучающиеся к концу изучения такого - то курса, дисциплины, предмета. До 60 - ых годов смысл тестов усматривался в дифференциации обучающихся по знаниям. После 60 - х годов тесты стали ориентироваться на критериальную дифференциацию испытуемых. В настоящее время с помощью тестов описывается такие диагностические параметры учебных достижений, как: широта опыта, ступень его научного описания, уровень, качество и прочность усвоения, автоматизация умений, осознанность применения знаний и т.д. Таким образом, тесты, являясь эффективным средством контроля, различаются также по целям обучения. Различают четыре тактических категорий целей образования и соответствующие им тесты.

По мнению В.П.Беспалько, система тестового контроля сводится к трем определениям:

• 
  выявление уровня сформированности знаний и умений;
  
• 
  измерение знаний и умений;
  
• 
  оценка знаний и умений [25].
  

1. 
   Закрытая форма. Тест содержит полный текст задания и ответы. Надо выбрать правильный ответ, действуя по инструкции. Основные требования к тесту в закрытой форме: стандартная инструкция, равная правдоподобность всех ответов, полная ясность текста (не должно быть разночтений), предельная краткость, простая стилистическая конструкция, ответы должны быть равные по длине, исключаются вербальные ассоциации, способствующие выбору правильного ответа наугад.
   
2. 
   2.Открытая форма. Обучающийся дополняет ответ, где содержатся пробелы. Инструкция гласит: "Дополните ... ". Основные требования к тесту в открытой форме: Дополняющее слово ставится в конце. Дополняющее слово должно быть единственным, самым важным, ключевым в программируемом определении. Все прочерки на листе дополняющего слова должны быть одинаковой длины.
   
3. 
   3.Задания на соответствие. Они содержат два множества: левый столбик - для выбора утверждений, правый - для ответа на неё. В правом столбике должно быть элементов на 1 - 2 больше, чем в левом. Инструкция гласит: ''Установите соответствие между элементами правого и левого столбцов".
   
4. 
   4. Задания на установление правильной последовательности. Такие тесты удобны для технических и технологических специальностей, т.к. проверяют знание алгоритма, правильной последовательности действий. Инструкция требует: установите правильную последовательность сборки, операций.
   

1. 
   Тестовое задание - напоминание, при котором учащиеся должны в качестве ответа на вопрос привести какой - либо факт.
   
2. 
   Тестовое задание - дополнение (с пробелами). В предложении оставляют место, отмеченное точками, куда испытуемый должен вставить (вписать) слово или число.
   
3. 
   Альтернативное тестовое задание, в котором учащийся должен решить, является верным или неверным какое - либо утверждение.
   
4. 
   Выборочное тестовое задание. Испытуемый должен из нескольких ответов выбрать правильный, выделив его каким - либо образом.
   
5. 
   Тестовое задание ранжирования. Испытуемым предлагается какое - либо количество явлений, величин, которые необходимо расположить в порядке возрастания или убывания, уменьшения или увеличения, т.е. расположить по рангу. Правило составления: таких тестов рекомендуется использовать не более 7 членов.
   

Тесты характеризуются следующим набором элементов, в соответствии с которыми можно оценить уровень их разработанности.

1. 
   Содержание. Требования к тесту: значимость содержания (выделяется базис дисциплины); содержание должно быть вариативным, репрезентативным, более полно отражать содержание курса; содержание должно быть научно достоверным, отражать современное состояние научного знания.
   
2. 
   Формы тестовых заданий. Выбор формы зависит от содержания курса, цели контроля, умений разработчика.
   
3. 
   Степень трудности теста. Задания должны быть разной трудности. Есть задания, которые не может сделать никто; есть задания, которые выполняют все; 60 - 70% должны составлять задания средней трудности.
   
4. 
   Дифференцирующая способность теста. Те, кто знает учебный материал - должны выполнить задание, не знающие - нет.
   
5. 
   Локальная независимость. Выполнение одних заданий не должны зависеть от результатов выполнения других заданий теста.
   
6. 
   Информативность задания. Каждое задание выполняет информационную функцию.
   
7. 
   Коррелируемостъ заданий с критерием. Вес заданий должен соответствовать дидактической ценности задания.
   

• 
  выбор содержания задания;
  
• 
  выбор формы задания;
  
• 
  создание инструкции и описание теста;
  
• 
  апробация геста (сбор эмпирических данных);
  
• 
  обработка эмпирических данных»;
  
• 
  экспертиза качества теста.
  

• 
  объективность, то есть независимость результатов оценивания от субъективных влияний личности того, кто проводит измерения;
  
• 
  надежность, которая понимается как устойчивость к воздействию случайных факторов и воспроизводимость результатов с течением времени;
  
• 
  валидность, трактуемая как соответствие содержания метода измерения применяемому инструментарию, процедуре, целям и задачам измерения;
  
• 
  точность, т.е. диапазон, в пределах которого находится ошибка измерения.
  
• 
  репрезентативность - возможность обеспечить всестороннюю проверку усвоения учебного материала;
  
• 
  однозначность понимания и ясность предложенных контрольных заданий.
  

1. 
   Параллельное тестирование в 2 - х группах.
   
2. 
   Ретестовая надежность (повторное тестирование).
   
3. 
   Расщепление теста (четные и нечетные номера заданий). Чем выше корреляция между частями, тем надежнее тест.
   

Представляет интерес и решение проблем дидактического тестирования в работах В.П.Беспалько, Н.Б.Лаврентьевой и др. [25].

В.П.Беспалько в работе сформулировал требования к дидактическим тестам и разработал методику построения тестов различных уровней. Он выделил следующие требования, предъявляемые к тестам:

а) адекватности (важности);

б) определенности (общепонятности);

в) простоты;

г) однозначности;

д) надежности.

Рассмотрим кратко их содержание.

1. 
   Если содержание задания теста соответствует смыслу и содержанию эродируемой характеристики, то такой тест считается валидным или адекватным уровню усвоения деятельности. Валидность теста может быть функциональной (операциональной, предназначенной оценить практические навыки и приемы деятельности данного уровня) и содержательной (выявляющей объективное качество учебных элементов). Валидность теста можно проверить экспериментально, сопоставив результаты тестирования с результатами других методов контроля: устный опрос, письменная и практическая проверка и др., по которой уже есть данные об уровне усвоения данного учебного материала.
   
2. 
   Под определенностью (общепонятностью) теста понимается тест, позволяющий работающему с ним, понимать, какую именно действие он должен выполнять, какие знания и в каком объеме продемонстрировать.
   
3. 
   Простота теста означает, что задание должно ограничиваться задачей тестирования, быть несложной, как по конструкции, так и по содержанию. Оно должно быть сформулировано однозначно. По трудности заданий тесты разделяются на три группы:
   

б) для выполнения теста необходимо совершить от трех до десяти операций;

в) для ответа на задания теста необходимо выполнить свыше десяти операций.

4. 
   Однозначность теста предполагает, что качество его выполнения обучающимся будет оценено различными экспертами (педагогами). Для этого должен быть создан эталон теста, в котором содержатся существенные операции, отражающие цель проверки.
   
5. 
   Надежность теста требует обеспечения устойчивости результатов при тестировании одного и того же обучающегося. Чтобы проверить: обладает ли он устойчивыми знаниями, испытуемый тестируется несколько раз с помощью разных тестов данного вида. Для повышения надежности теста В.П.Беспалько предлагает пользоваться динамическими тестами - лестницами (несколько батарей тестов разных уровней), в которых решение каждого следующего теста зависит от решения предшествующего теста, а батарея тестов более высокого уровня отражает качество выполнения тестов более низкого уровня. Если обучающийся отвечает правильно, он продвигается по лестнице. Если же он ошибается, то ему дают тесты по той же теме для выяснения степени усвоения темы. Тестирование по тестам - лестницам целесообразно проводить с помощью компьютерной техники.
   

Тесты I уровня подразделяются на следующие тесты:

1. 
   Тесты опознания. Вопросы сконструированы таким образом, что ответы требуют альтернативного ответа, основанного на двоичной системе: «да» или «нет» и т.п. В задании обязательно фигурирует объект, о свойствах или характеристиках которого обучающийся должен иметь представление.
   
2. 
   Тесты различения. Они содержат ответы, в которых обучающийся должен произвести различение тестируемого признака. Эталон такого теста представляет собой соответственно один или несколько правильных ответов. В тестах на различение могут содержаться «помехи», которые создаются наличием ряда варианты ответов.
   
3. 
   Тесты классификации. Они предлагают определение общности, которые обучающийся должен сгруппировать по какому - то признаку. Причем сравниваемые свойства или параметр обязательно фигурируют в задании.
   

1. 
   Тесты подстановки. Они могут иметь в задании разнообразные виды информации - словесный текст или формулу, в которых пропущены составляющие части контролирующей информации. Получив такое задание, обучающийся должен воспроизвести в памяти и заполнить пропущенные места, а так же выполнить другие указания, содержащиеся в задании. Эталон словесного теста подстановки служит тест пропусков.
   
2. 
   Конструктивные тесты. Задания этого вида тестов не содержат подсказок. Они требуют от обучающихся совершенно самостоятельного конструктивного ответа (решения): воспроизвести формулировку, дать характеристику, написать формулу (уравнение), проанализировать научное явление, построить график и т.д.
   
3. 
   Тест «типовая задач». Он служит для проверки усвоения расчетных формул, алгоритма решения, правильности рассчитываемых величин и т.д. Задание теста содержит условия которые включают данные и требования того, что нужно найти в ходе решения. Эталон работы по такому заданию представляет собой рациональную последовательность всех операций, их содержание.
   

Тесты IV уровня. Они призваны выявить умения обучающихся принимать решения в проблемных, непредвиденных ситуациях, разрешение которого требует творчества, получения объективно новых результатов. Создание теста этого уровня затруднено, так как сложно смоделировать творческую деятельность (создать эталон). Выявление знаний и умений IV уровня обычно проводится не через тесты, а через задания и задачи, которые могут иметь несколько вариантов решения.

3. 
   
   жүктеу/скачать 1.15 Mb.
   
   Достарыңызбен бөлісу: