Этапы развития эвалюации в образовании

10
ЭКОНОМИКА ОБРАЗОВАНИЯ В СИСТЕМЕ СОЦИАЛЬНЫХ КООРДИНАТ
измерений и оценить эффективность заданий
различной трудности вдоль оси переменной из-
мерения на основе информационной функции
теста. Соответственно появилась возможность
создания банков калиброванных тестовых зада-
ний с устойчивыми оценками их параметров,
развития высокоэффективных методов компь-
ютерного моделирования тестов и организации
современной модификации адаптивного тести-
рования, позволяющего без применения много-
численных методик выравнивания сравнить
результаты испытуемых по различным адаптив-
ным тестам
К третьему промежутку в истории развития
образовательной эвалюации следует отнести пе-
риод с 90-х годов ХХ века до начала XXI века,
для которого характерно становление бипарадиг-
мальной методологии эвалюации на основе фи-
лософских корней прагматизма и широкого рас-
пространения идей трансформизма. В педагоги-
ческих измерениях этого периода доминирова-
ла теория IRT, позволяющая строить уровневые
шкалы для совмещения результатов количествен-
ных и качественных измерений.
Идея совмещения уровней измерения подкреп-
лялась широким внедрением компьютерной тех-
ники и современных информационных техноло-
гий в процессы исследования. В этот период но-
вые возможности компьютеров повлекли за со-
бой интенсивное развитие программно-инстру-
ментальных и программно-педагогических про-
дуктов, реализующих алгоритмы IRT для оценки
результатов испытуемых и конструирования но-
вых тестов. К числу наиболее интересных, создан-
ных мировым лидером в компьютерном тестиро-
вании Assessment Systems Corporation (ASC), мож-
но отнести такие программы как RASCH,
RASCAL, Quest, ConQuest, а также программы
XCALIBRE, ASCAL, LOGIMO, MSP, PARELLA
и многие другие.
Некоторые из разработок корпорации ASC,
например, программа HLM (иерархическое ли-
нейное моделирование), позволяют реализовы-
вать иерархический анализ качественных дан-
ных, который очень важен при проведении эва-
люации, поскольку большинство социальных
исследований содержат иерархические данные.
Эти данные желательно структурировать по оп-
ределенным соподчиненным уровням для полу-
чения развернутых выводов в исследованиях,
позволяющих учитывать разные факторы при
анализе результатов выполнения проектов и
программ.
Первый практический опыт применения
HLM на представительных выборках учащихся
был получен в 1983 году. Тогда Браун, Джонс и
Тейер опубликовали данные о стандартных про-
цедурах оценивания результатов учащихся с це-
лью их рейтингования по результатам обучения
в бизнес-школах. поскольку в те годы многие
школы ориентировались на практику рейтинго-
вания для предсказания дальнейших академи-
ческих успехов учащихся. Интенсивное разви-
тие моделей иерархического линейного модели-
рования наблюдалось с начала 90-х гг ХХ века
и продолжается вплоть до наших дней. В соци-
ологии – это многоуровневые линейные модели
(Голдштейн, 1995; Мейсон, 1993 и т.д.). В био-
метрике – модели со смешанным и случайным
эффектами (Эльстон и Гриззл, 1992; Зингер,
1998; Лэйерд и Уээа, 1982). В эконометрике –
регрессионные модели со случайными коэффи-
циентами (Розенберг, Лонгфорд, 1993). В ста-
тистике – модели с ковариационными компонен-
тами (Демпстер, Рубин и Цутакава, 1991; Лон-
гфорд, 1997).
Первоначально модели HLM использовались
исключительно для непрерывного распределения
переменных, а ошибки трактовались в рамках
теории нормального распределения. По мере
развития теории иерархического моделирования
был создан аппарат, позволяющий применять
модели для разных классов переменных в диск-
ретных шкалах. В частности, на сегодняшний
день применение моделей HLM возможно для:
– дихотомических переменных.
– количественных переменных.
– порядковых (качественных) переменных.
– номинальных мультипорядковых пере-
менных.
В 1984 г. появилась первая версия математи-
ческого аппарата, основанного на методе макси-
мального правдоподобия и предназначенного для
анализа данных на дискретной шкале. Немного
позже Голдштейн в 1991 г. разработал программ-
ное обеспечение, позволяющее реализовать этот
аппарат и предназначенное для дискретных дан-
ных (программа ML3). В 1995г. появилась вто-
рая редакция этой программы, обеспечивающая
повышение точности результатов итерационных
процессов метода максимального правдоподо-
бия. Также в 1995 г. было создано программное

11
Экономика образования  № 4, 2011
обеспечение на основе метода Гаусса-Хермита.
И наконец в 2000 г. Рауденбуш, Янг и Йозеф,
используя преобразования Лапласа, предлагают
современную и наиболее распространенную в
наши дни версию программы HLM. В результа-
те появления эффективного программного обес-
печения резко увеличилось число исследований
в образовании, в которых при анализе данных
используется HLM.
Современный иерархический анализ в эва-
люации на основе программы HLM можно ис-
пользовать c тремя целями:
– повышение точности оценок учебных дос-
тижений учащихся, которые выступают в каче-
стве первичных единиц анализа в эвалюации;
– формулировка и проверка гипотез, связан-
ных с предположениями о взаимодействии фак-
торов при проведении количественного и каче-
ственного анализа по результатам выполнения
проектов и программ;
– выделение доли вариации, объясняемой
выявленными факторами на различных уровнях
измерений.
В целом, возможности иерархических ли-
нейных моделей, основанные на новом спосо-
бе получения уравнения регрессии, послужи-
ли мощной поддержкой бипарадигмальной ме-
тодологии измерений, обратив на себя внима-
ние всех тех, кто использовал исключительно
качественные измерения в эвалюации. К кон-
цу 90-х годов ХХ века иерархические линей-
ные модели стали широко применяться в эва-
люации программ международных исследова-
ний качества школьного образования для про-
верки гипотез о том, как измеряемые перемен-
ные на одном уровне связаны с измерениями
на другом. Хотя методы HLM получили в XXI
широкое развитие в международных исследо-
ваниях по сравнительной оценке качества об-
разования (TIMSS, PIRLS, PISA), в России они
практически не используются, несмотря на об-
ширные возможности методов по анализу ка-
чества российского образования на основе дан-
ных ЕГЭ. В наши дни HLM также широко ис-
пользуются при проведении мониторинговых
исследований в ряде стран, обладающих вы-
сокоразвитыми системами образования, в ме-
дицинских и социологических обследованиях.
Значимым шагом в развитии эвалюации
программ по разработке и применению тестов
стало принятие в 1999 году (последняя версия)
в США Стандартов для педагогических и пси-
хологических тестов (Standards for Educational
and Psychological Tests), подготовленных Амери-
канской ассоциацией исследований в образова-
нии (American Educational Research Association,
1999). Соответствие характеристик теста требо-
ваниям Стандартов являлось признанием того
факта, что его можно использовать для аттеста-
ции выпускников учебных заведений и приня-
тия управленческих решений в образовании.
Таким образом, тесты, адекватные требованиям
Стандартов, обретали право на применение
в тестировании административно-управленчес-
кого предназначения и могли претендовать на
статус High-Stakes Tests.
Четвертый период развития образователь-
ной эвалюации (2000 – 2010 гг) связан с рас-
ширительным толкованием методологических
основ эвалюации, поскольку методология из-
мерений была подкреплена теорией управле-
ния и принятия решений. Хотя в наши дни уже
можно говорить о становлении пятого перио-
да в истории развития эвалюации, начало ко-
торого положено благодаря введению компе-
тентностного подхода в образование, требую-
щего учета мета-латентной природы компетен-
ций, их отсроченного характера проявления, а
также влияния контекстных факторов на про-
цесс формирования компетенций и предысто-
рии развития познавательной деятельности обу-
чаемых. Трудности операционализации конст-
руктов – компетенций – при измерениях, выз-
ванные их природой, и спецификой развития и
проявления, обуславливают необходимость раз-
работки новой философской парадигмы, на ос-
нове которой можно рассматривать процесс
измерений в динамике и считать каждую ите-
рацию в измерениях шагом вперед к истинным
уровням освоения компетенций, свободным от
ошибок измерения, но не достижимым как и
любая предельная величина.
Поскольку результаты эвалюации, как и ре-
зультаты любого оценивания, подвержены ошиб-
кам и неизбежно включают в себя ошибочный
компонент, то в наши дни широкое развитие по-
лучила мета-эвалюация (эвалюация эвалюации),
которая нацелена на анализ качества результа-
тов самой эвалюации и предназначена для ми-
нимизации ошибок при использовании резуль-
татов эвалюации в процессе принятия важных
управленческих решений. В частности, для по-

жүктеу/скачать 1.04 Mb.

Достарыңызбен бөлісу: