В вопросах, связанных с измерением, основное место отводится понятию шкала измерений [47]. Исследования по изучению различных типов шкал и их свойств составляют значительную часть работ по теории измерений. По мере того, как удается определить знания студентов и, наиболее знающему из них, приписать сравнительно большее число, количество классов, на которые можно разбить совокупность студентов, начинает соответственно возрастает и эффективность использования математического аппарата для этого. В подтверждение к сказанному обратимся к некоторым важным историческим фактам, характеризующим всю сложность развития самой теории измерений и ее приложения.
Первые представления о возможности сравнения объектов по тому или иному признаку, привели к появлению «методу парных сравнений», столь естественных для человека, а с ними уже к переходу к ранговой шкале. Иными словами, с переходом к первому этапу, а далее от первого этапа ко второму и т.д., по существу, у человека формировался и сам метод, основанный на интуиции, логике и опыте.
Замечание 1. Методом парных сравнений называется метод психологических измерений некоторого свойства объекта, в котором основной элементарный экспериментальный акт - это сравнение объектов А и В по данному свойству экспертом, который, в простейшей ситуации, должен выбрать (предпочесть) один из двух объектов.
Замечание 2. Исторически метод парных сравнений из бытового и практического приема превратился в метод научных исследований. Причем, появление простейших рычажных весов не только уточнило метод парных сравнений и ранговую шкалу весов, но и впервые поставило неявно проблему эталона.
Замечание 3. Согласно принятому толкованию, «эталон» любой единицы в метрологии выступает как средство измерений (или комплекс средств измерений), обеспечивающее воспроизведение этой единицы. Эталон - это простейший измерительный прибор, объективизирующий наши ощущения.
Замечание 4. Шкала интервалов - это более совершенный, по сравнению с вышеописанным, метод измерений в метрологии, основанный на введении возможной процедуры для количественной оценки различия выражения изучаемого свойства на объектах и позволяющий отвечать уже на вопрос «на сколько». Однако ситуация все еще оставалась сложной, так как используемые в измерениях эталоны различались в разных странах, и в разных городах.
Замечание 5. Свою законченность измерение приобрело лишь в XIX в, в связи с введением международного эталона, а также самой методологии десятикратности. В настоящее время Международная система единиц (СИ) позволяет из основной эталонной единицы получить как кратные ей, так и ее дольные десятичные единицы [].
В настоящий момент, измерение таких величин производится уже по шкале отношений, которая позволяет отвечать не только на вопрос «на сколько», но и на вопрос «во сколько». Таким образом, тип шкалы, о котором речь пойдет далее, определяет, прежде всего, не саму измеряемую величину, а лишь уровень наших знаний о ней.
Большинство педагогических измерений проводится в шкале упорядоченной классификации, а также в номинальной, порядковой и интервальной шкалах, шкале отношений.
Шкалой наименования называется любое взаимно однозначное отображение, которая дает возможность отличить один объект от другого. В педагогической практике шкала наименований используется довольно часто. Например, с ее помощью могут быть описаны такие характеристики студентов, как пол, место проживания (в общежитии, дома с семьей, на частной квартире), специальность и группа, тип школы, которую студент окончил, и т.д. Все это типичные примеры измерения по шкале наименования. Например, по признаку «пол» можно приписать соответственно числа 1 и 0 (мужской и женский), признаку «курс» - 1, 2, 3, 4, 5 и т.д.
В практике измерений рассматриваются два типа номинальных шкал. В первом типе номинальных шкал каждому объекту приписывается число. Арифметические действия с числами в номинальной шкале не имеют смысла, между ними не устанавливается отношение порядка. В этом типе шкалы числа применяются только для наименования. Каждое число представляет отдельного человека и, следовательно, имеет место полное различие между ними посредством присвоения чисел исследуемым объектам.
Второй тип номинальной шкалы особенно широко применяется в педагогической практике. Он связан с классификацией обучающихся по группам, в соответствии с каким - либо признаком: число приписывается не отдельному человеку, а группе. Например, можно выделить группу отличников из студентов, которые ответили на все вопросы теста. Аналогично можно получить группу из «хорошистов», «троечников» и т.д. Из этого можно сделать вывод, что номинальная шкала является качественной, без числа и меры здесь, в принципе, можно обойтись, хотя при необходимости они могут применяться.
Шкалой порядка называется шкала, использование которой основано на свойстве монотонности измеряемых объектов. В порядковой шкале вводится число и отношение «больше - меньше». По числу можно узнать о месте объекта в совокупности. Например, бегуном приписываются номера I, 2 и т.д. в порядке очередности их прихода к финишу; медали вручаются не за результат, а за занятое место, т.е. за порядок (ранг), в котором он закончили бег. По результатам экзаменов можно также присвоить ранги каждому студенту, но только в пределах одной группы.
Однако главным препятствием использования порядковой шкалы является то, что сами оценки, как ранговые величины, измеряются по условной, неравномерной шкале, шкале порядка. Поэтому над ними нельзя производить обычные арифметические действия, применимые для величин, измеряемых по равномерной интервальной шкале путем сравнения с эталоном измерения. Так, нельзя утверждать, что у студента, получившего оценку «4», в два раза больше величина –«объема знаний», чем у студента, получившего «2», а можно лишь констатировать, что у первого студента объем знаний больше, чем у второго.
В рассмотренных шкалах объекты оценивались с точки зрения отношения равенства между ними или отношения "больше - меньше". В учет не принимался важный в измерениях вопрос о расстоянии между объектами, что является главным недостатком ранговой шкалы.
Интервальная шкала, или шкала равных интервалов, не только позволяет преодолеть отмеченные недостатки рассмотренных ранее шкал, но и показать: на сколько свойство одного объекта больше чем у другого. Эта шкала - более высокого уровня, чем ранговая, потому что она позволяет определить еще и расстояние между объектами. Но интервальная шкала не позволяет ответить на вопрос - во сколько раз данное свойство у объекта, - выражено больше, чем у другого.
Ответ на последний вопрос дает пропорциональная шкала, или шкала отношений. Она позволяет получить самый высокий уровень измерений. Обязательным условием пропорциональной шкалы является наличие абсолютного нуля. Попытки построить пропорциональные шкалы в педагогике и других общественных науках наталкиваются на трудности концептуального порядка, главным из которых является принципиальная невозможность найти и обосновать истинный ноль знаний по тому или иному предмету у студентов.
В самом, пожалуй, широком смысле измерение - поиск упорядоченной классификации. Разработано несколько методов измерения: шкалирование, метод экспертных оценок, тестирование, контент - анализ. Этим методам отвечают различные оценочные шкалы. В настоящее время приложения теории измерений в педагогике не достигли еще такого уровня развития, который позволил бы создать удобную классификацию шкал для изучения различных свойств, дающую возможность педагогу - исследователю выбирать тот или иной метод измерения, исходя из имеющихся представлений об объекте измерения [91]. К сожалению, выбор способа измерения и, собственно, самих шкал представляет в педагогических исследованиях пока не простую задачу и требует от педагога определенного понимания характера самой процедуры. Различают несколько видов применяемых в образовании оценочных шкал (рис.3). Рассмотрим подробнее все эти виды шкал.
Количественные шкалы. С формально - теоретической точки зрения всякое измерение есть отображение множества измеряемых объектов в некоторое множество величин. Если в качестве множества величин выступает числовое множество, то говорят о количественной шкале. Таким образом, количественная шкала предназначена для представления оценки числом. Это, например, хорошо всем известная школьная система балльных отметок. Если начало отсчета не связано с учеником, не зависит от него, а ученику лишь находят соответствующее место на шкале, то говорят об абсолютной оценочной шкале. Типичные инструменты образовательной технологии - тесты достижений или более привычные контрольные работы - нацелены как раз на идентификацию состояния ученика по абсолютной количественной шкале.
В некоторых ситуациях абсолютная шкала входит в противоречие с соображениями педагогического плана и, возможно, требуется переход к относительной шкале. Относительная шкала предполагает сравнение текущего состояния ученика с его же состоянием некоторое время назад. Следовательно, относительная шкала связана с самим измеряемым объектом и отражает его изменение, развитие.
Если планируемые результаты обучения заданы как конкретные умения, представленные системами типовых задач, то абсолютная количественная шкала строится довольно просто. Безошибочное выполнение заданий из определённого набора, характеризующее достижение соответствующего уровня, обозначается некоторым, заранее согласованным числом, выполнение заданий из другого набора (соответствующего другому уровню) - другим числом. Дополнительное число обозначает наличие значимых ошибок при решении задач из минимального набора (образовательного стандарта). Обычно для подобной цели выбирают некоторый отрезок последовательности натуральных чисел (по возрастанию или убыванию), числа из этой последовательности называют баллами, а саму шкалу - балльной.
На подобной же основе может быть выстроена и относительная шкала, фиксирующая расширение круга задач, которые ученик может решать безошибочно за некоторое оговорённое время: эта шкала может оказаться для каждого ученика своей. Таким образом, относительная шкала индивидуальна и субъективна.
Рис.3
Ранговые шкалы. В слабо структурированных областях - таких, как психология, педагогика - чаще используют порядковые шкалы. Их особенность состоит в том, что объект сравнивается с подобными объектами. Если множеством величин является само данное множество, то речь идет о его упорядочивании, иерархизации. Если же измеряемое множество отображается в другое, то априори предполагается, что это второе множество упорядочено и иерархия в нем известна. Для наглядности можно обсудить следующий пример. Все знают, что Владимир Ульянов закончил гимназию первым учеником, хотя и не имел высших баллов по всем предметам: он был первым и лучшим в данной гимназии, но это не значит, что в других гимназиях не было учеников более умных и талантливых, чем он. Такой вариант оценочной шкалы называется ранговым: каждому объекту присваивается номер, ранг в иерархии. Типичные, самые очевидные примеры ранговых шкал - система воинских званий или система должностей на институтской кафедре.
Частный случай ранговой шкалы - набирающая всё большую популярность рейтинговая система. Рейтинговая система по ряду признаков имеет большое сходство с количественной шкалой, но, что очень важно, таковой не является. Рейтинг - это действительно число. Но получается оно либо путем опроса субъективных мнений экспертов, как рейтинги политических деятелей, либо путем накопления очков (пунктов, баллов) студентами. В образовательной практике рейтинговая шкала строится на основе учёта всех действий и достижений студента в нужном направлении. Выполнил студент правильно задание - получил балл, написал реферат - ещё несколько баллов и т. д. В конце учебного периода все набранные очки суммируются, и получается рейтинг. После этого множество студентов можно ранжировать, упорядочив его по возрастанию рейтингов. Главная ценность рейтинговой шкалы состоит в том, что она стимулирует активную деятельность студентов.
В ряде школ и вузов подобную рейтинговую систему промежуточных оценок уже применяют, но, видимо из - за вполне оправданной осторожности, она всё - таки привязана к традиционной балльной системе оценки. Недостаток рейтинговой системы виден невооружённым глазом: количество баллов за то или иное учебное достижение назначается экспертным способом и может сильно варьироваться от вуза к вузу, от предмета к другому предмету, отражая в своей произвольности вкусы и пристрастия, сложившиеся в разных педагогических коллективах. Но это же качество оборачивается самым большим достоинством рейтинговой шкалы, обеспечивая её невероятную гибкость.
Хорошо известен и другой тип порядковых шкал - дескриптивные, т. е. описательные. Они характеризуются тем, что объект, с которым сравнивается данный, хоть и принадлежит тому же множеству, что и измеряемый, но замаскирован, завуалирован, как бы скрыт. Знаковая дескриптивная шкала - это описание достоинств объекта знаковой системой. Очевидная, всем хорошо известная знаковая система - язык, менее очевидная - образная, в форме графической модели, например полосовой код на товарах или нашивки за выслугу лет на рукавах некоторых категорий военнослужащих. Соответственно, среди знаковых дескриптивных оценочных систем различают вербальные и образные. Типичная вербальная дескриптивная оценка - это просто некоторая характеристика. М. В. Кларин замечает: «Оценочным может, по сути дела, являться любое суждение, выражающее отношение учителя, - например, похвала, одобрение, сомнение или же прямое неодобрение. Оценочный характер могут носить и невербальные реакции преподавателя - его одобрительные или неодобрительные, скептические или насмешливые интонации, взгляды, жесты» [80,с. 46].
В последнее время за рубежом всё чаще обсуждаются другие способы, которые многим представляются наиболее адекватными для замеров личностного развития. К ним, в частности, относится идея так называемой папки достижений (portfolio assessment). Она родилась в США как компромисс между принятой в этой стране жёсткой системой тестового контроля и значительно более мягкой европейской системой. В отечественной педагогике аналогичную оценочную шкалу использует Ш. А. Амонашвили: «Каждый ребёнок начнёт составлять также «том произведений собственного творчества, в который войдут: листки с записью первых слов и предложений, первое «сочинение», решения математических задач и примеров, чертежи, рисунки, аппликации...» [12]. Собирая все эти буклеты, афиши и плакаты в папку в течение определенного времени обучающийся получит, в первом приближении, «папку достижений».
Это были примеры использования дескриптивных аналоговых шкал. В отличие от родительских папок, «папка достижений», как оценочная шкала, в образовательной технологии имеет свои правила и принципы (см. глава ).
Типы шкал и их свойства. Успешное применение количественных методов в педагогике неразрывно связано с понятием уровня измерения. Например, данные, собранные в номинальной шкале данные, нет смысла подвергать арифметическим операциям сложения, деления и другим. Основное свойство номинальной шкалы - это отношение равенства или неравенства. Если воспользоваться аксиоматикой алгебры множеств, то при наличии, например, трех оцениваемых объектов (студентов) А, В, С свойства номинальной шкалы будут выглядеть следующим образом /22/:
А = В или А ≠ В, дихотомия. Аксиома I.
Если А = В, то В = А; симметрия. Аксиома 2
Если А = В и В = С, то А=С'}, транзитивность. Аксиома 3
На педагогическом примере эти свойства можно интерпретировать так: у двух студентов (А и В) оценки либо одинаковы, либо нет; если одинаковы, то нет оснований делать между ними различия с точки зрения оцениваемого предмета и используемого метода оценки; оценка у А (в силу равенств А = В и В = С) приравнивается к оценке третьего студента С. Допустимые статистические процедуры в номинальной шкале - подсчет частот, процентов, долей, расчет показателей связи и различия коэффициентов χ2 и φ.
Несколько большие возможности для оперирования статистическими методами предоставляет использование порядковой шкалы. Здесь за основу берется уровень оцениваемого качества, например ответ студента, и чем выше качество, тем выше место. Этой шкалой в практике пользуются довольно часто, особенно в случаях, когда нет возможности измерить количество изучаемого признака. Педагог или эксперт ранжируют студентов, ставя на первое место того, у кого этот признак больше выражен, на второе - того, у кого он выражен несколько меньше и т.д. Часто трудно решить, какого студента по уровню знаний можно поставить выше, а какого - ниже; в таких случаях двум (или более) студентам дают одинаковый, средний ранг, но следующий за ними опускается на ступеньку ниже, например, I, 2,5, 2,5 4, 5 и т.д. При использовании статистических методов иногда полезно лучшему студенту приписать большее число (балл). Перевод рангов в баллы осуществляется по формуле:
N = n + 1 - ri (17)
здесь п - число студентов;
ri - ранг 1 - го студента.
Применение этой формулы показано в табл..
Таблица 4.1
Студенты
|
Место
|
Ранг г;
|
Баллы
|
А
|
1
|
I
|
5
|
Б
|
2 - 3
|
2,5
|
3,5
|
В
|
2 - 3
|
2,5
|
0,0
|
Г
|
4
|
4
|
2
|
Д
|
5
|
5
|
I
|
В дополнение к трем аксиомам алгебры множеств в порядковой шкале используются еще три аксиомы.
Недействительно,
что А > А или А < А; необратимость. Аксиома 4
Если А≠В, то А>В или А<В; асимметричность. Аксиома 5
Если А>В и В>С, то А>С; транзитивность. Аксиома 6
Интерпретация на педагогическом примере: если студенту А приписан определенный ранг, то он не может быть изменен без изменения рангов у других студентов; если знания у А≠В, то ранг А либа выше, либо ниже, но не равен рангу В; если у А ранг выше, чем у В, а у В > С, то ранг у А непременно выше, чем у С.
В порядковой шкале допускаются любые преобразования, не нарушающие порядок; это так называемые монотонные преобразования - возведение в степень, извлечение корня, умножение на постоянный множитель и др. Предпочтительно использовать ранговые коэффициенты корреляции.
Если при оценке влияния нового метода данные получены на порядковой шкале, то рекомендуется применять дисперсионный анализ, разработанный для использования рангов, и непараметрические критерии достоверности различий контрольной и экспериментальной групп. Часто полагают, что при выставлении оценки в школе и вузе используется порядковая шкала, однако, как уже отмечалось, это не так: оценки получены на номинальной шкале, но упорядочены.
Всем студентам, плохо отвечающим на экзамене, ставится одна качественная оценка "неудовлетворительно" и все они объединены в одну группу (класс) неуспевающих по данному предмету. Внутри этого класса применимы только аксиомы I - 3 и о каком - либо упорядочении говорить не приходится.
Таким же образом можно организовать отдельные группы, состояние только из тех студентов, которые отвечают на экзамене «удовлетворительно», «хорошо» или «отлично». Внутри каждого класса опять - таки применимы только аксиомы 1 - 3, но между классами можно установить порядок, присвоив им ранги или баллы. Следовательно, речь идет не о порядковой шкале, в которой каждый студент отличается от другого студента, и к которой применимы аксиомы 4 - 6. Здесь правильнее говорить о шкале упорядоченной классификации, в которой упорядочиваются не отдельные объекты, а классы объектов.
Шкалы упорядоченной классификации, номинальная и порядковая, относятся к классу так называемых неметрических шкал. Эти шкалы характеризуются, в основном, тем, что они определяют место оцениваемого объекта, но не расстояние между объектами.
Другой класс объединяет так называемые метрические шкалы, в которых дополнительно к свойствам неметрических шкал задается необязательно равное расстояние между объектами. Наиболее распространенный тип метрической шкалы - это интервальная шкала. В интервальной шкале действительны, кроме шести перечисленных, еще четыре аксиомы, называемыми аксиомами сложения:
А + В = В + А; коммутативность. Аксиома 7
(А + В) +С и А + (В+С); ассоциативность. Аксиома 8
Если А=С и В=Д, то А+В = С+Д; однозначность Аксиома 9
сложения.
Если А = С и В≥О, то А+В≥С; монотонность. Аксиома 10
Свойствами интервальной шкалы обладают только тестовые оценки; соответственно, возможности математической обработки тестовых данных с использованием аксиом 7 - 10 существенно шире, а значит, создаются и большие возможности (при прочих раньше условиях) для получения новой информации. Допустимое преобразование в интервальной шкале - линейное преобразование типа:
у = а + вх (в≠0)).
Использование интервальной шкалы является необходимым, но недостаточным условием для получения нормального распределения тестовых баллов, полученных при оценке знаний студентов. Педагогическая интерпретация свойств интервальной шкалы достаточно очевидна из аксиом 7 - 10: оценки студентов можно складывать, делить, находить средний балл, устанавливать порядок и различия в сумме набранных баллов. При обработке данных применяется расчет классического коэффициента корреляции (Пирсона), а также используются регрессионный, факторный и другие методы многомерного статистического анализа.
Подытожив сказанное выше, отметим, что в такой поведенческой науке как педагогика большинство измерений относится к номинальному и порядковому уровню, реже - к интервальному и уж совсем редко - к измерению по шкале отношений. Примером последней из шкал, по сути дела, можно завершить анализ и разбор основных типов шкал, их свойств и возможности их реализации в педагогике.
Исходя из общей методики построения шкал, отметим, что любая из перечисленных нами шкал выступает как объективность, присущая любому качеству, так как за каждым явлением, которое изучается в педагогике объективно, вне зависимости от возможностей педагога - исследователя, заложена определенная шкала, реализация которой выступает как итог долгих поисков, наблюдений, анализа и обобщения. Из теории и практики измерений в педагогике стало известно, что как в силу объективных законов, так и субъективных причин, абсолютно точное измерение практически невозможно.
Поскольку унификация измерительных средств и способов в педагогике - задача, пока не реализуемая, то фактически каждый педагог выступает не только как измеритель, но и как носитель своей шкалы. В целом, все множество преподавателей можно рассматривать как носителей некоторой объективно существующей естественной шкалы. При этом усреднение результатов измерений должно приближать данные к объективно верному измерению. Этот вывод основывается на следующих положениях:
а) любой педагог является хранителем большого объема рационально отобранной и обработанной учебной информации, а, следовательно, каждый педагог может измерить (оценить) любую предъявленную ему часть учебной информации (например, выставление оценок по результатам выполнения обучаемыми заданий теста путем дифференцирования уровня проявления изучаемых качеств у обучаемых);
б) формирование коллективного мнения педагогов относительно результатов выполнения какого - либо оценочного задания ведет, как правило, лишь к объективизации результатов первичных измерений: коллективное мнение экспертов может быть достаточно близким к истинному решению проблемы;
в) при многократных повторах измерения заданного свойства, величина средней оценки его проявления сходится, по вероятности, к самой величине.
Достарыңызбен бөлісу: |