Учебное пособие для студентов педвузов. Москва, Ростов-на-Дону: «Феникс», 1996. 544 с



бет19/29
Дата02.06.2016
өлшемі2.12 Mb.
#110133
түріУчебное пособие
1   ...   15   16   17   18   19   20   21   22   ...   29

3.7. ОПЕРАТИВНОЕ ТЕСТИРОВАНИЕ ЗНАНИЙ

+

Практичность и высокая стандартизация — эти свойства тестов привлекают все больше специалистов-педагогов, желающих применить этот метод для оперативного контроля уровня знаний учащихся в классе. Возможности оперативного создания таких «подручных» тестов особенно возрастают с распространением вычислительной техники и появлением в школах компьютерных классов, в которых можно быстро и эффективно провести групповое тестирование уровня знаний учащихся средних и старших классов.



Но за внешней простотой подобных тестов скрываются определенные технологические особенности, которые должен знать каждый учитель-предметник. Прежде всего качество этих тестов зависит от качества отдельных тестовых заданий. Таким образом, разработка тестовых заданий требует не только глубоких знаний предмета, не только дидактического опыта, но и специальных знаний и навыков в области теории и практики составления самих тестовых заданий. Эти знания позволяют сделать задания достаточно разнообразными по своим структурным и логическим свойствам. Эти знания и умения позволяют тестировать не столько «ДЕКЛАРАТИВНЫЙ» уровень поверхностных знаний, основанный лишь на ассоциативных связях «ключевых» слов, но и более глубокий уровень реально ценных «ОПЕ-РАЦИ0НАЛЬНЬ1Х» знаний, позволяющий реально использовать полученные знания на практике.

Итак, неквалифицированные тестовые задания апеллируют, как правило, к АССОЦИАТИВНОМУ МЫШЛЕНИЮ, которое удовлетворяется поверхностным заучиванием (зазубриванием) связей между

320


Практические задачи школьной психодиагностики

определенными ключевыми словами. Они не достигают уровня собственно КОНЦЕПТУАЛЬНОГО, или операционального мышления, которое оперирует глубокими логическими связями между понятиями и правилами их применения к анализу реальных объектов, фактов и событий. Профессионально составленные тестовые задания также содержат поверхностные ассоциативные связи, но... в качестве провокационных мнимых правильных ОТВЕТОВ-ДИСТРАКТОРОВ (ключевые слова упоминаются в фальш-альтернативах даже более активно, чем в истинных ответах, но в бессмысленных сочетаниях). Ниже для иллюстрации приводятся два примера тестовых заданий — неудачный (а) и удачный (б). Использовались примеры реальных заданий из книги «Тесты. История России» (М.: Школа-пресс, 1993).

А. Какая формула была провозглашена теорией официальной народности в России в XIX веке?

[1] «православие — самодержавие — народность»

[2] «Москва — третий Рим»

[3] «Россия для 'русских».

Здесь в правильном ответе [1] буквально повторяется то же самое слово «народность», которое упоминается и в условии к тесту. Любой учащийся без специальных знаний, но с элементарным здравым смыслом безошибочно определит правильный ответ.

Б. Что явилось для Англии предлогом ухудшения отношений с Россией в конце 1840-х гг.?

[1] отказ России от выполнения своих обязательств как члена Священного союза;

[2] повышение российским правительством таможенных пошлин на английские товары;

[3] подавление русскими войсками венгерской революции.

Здесь правильный ответ [3] трудно определить из «общих соображений здравого смысла» (хотя к нему и может подвести точный учет смысла слова «пред-

11. Основы психодиагностики

321


Основы психодиагностики

лог» в условии). С точки зрения логики буквального ассоциативного мышления более непосредственной причиной недовольства англичан может казаться та фалып-альтернатива [2], в которой прямо и открыто обозначены интересы Англии или более косвенно [1] (впрочем, последнее верно только для тех учащихся, которые знают о том, что такое Священный союз).

ПСИХОЛОГИКА ИСПЫТУЕМОГО

Наличие набора возможных ответов провоцирует у испытуемых, совершенно не знакомых с предметом, стремление «угадать» правильный ответ на основе интуиции.

Умелые разработчики тестов знают типовую «ПСИХОЛОГИКУ» поведения испытуемых, выполняющих тесты, и «ловят» невеж, провоцируя выбор ложного ответа, обладающего внешней правдоподобностью- Психологику можно описать как совокупность рациональных и иррациональных (основанных на приметах) стратегий поведения. К числу типичных мнимо разумных стратегий поиска правильного ответа следует отнести (кроме указанной выше стратегии ассоциативного правдоподобия):

1) «Выбирай «золотую середину». Например, если даны три числа, то испытуемый ожидает, что автор задания дает ему возможность сделать два типа ошибок «недооценка» и «переоценка», и с меньшей вероятностью испытуемый полагает, что правильный ответ может быть крайним. В этом смысле про датировку Куликовской битвы более удачным следует считать такой перечень вариантов: 1380, 1390, 1480.

2) «Выбирай более развернутый и аргументиро-322

Практические задачи школьной психодиагностики

ванный ответ, учитывающий частные случаи». Для того чтобы запутать такого испытуемого, следует маскировать правильный ответ под более внешне простую формулировку, а ложный ответ — под более развернутую. Пример:

Что такое автократия?

— самодержавие,

— рабовладельческая республика, в которой президент избирался из числа видных рабовладельцев-аристократов.

3) «Выбирай более наукообразный ответ из иностранных и малопонятных слов». Пример преодоления:

*

Как называется деталь самолета, с помощью которой обеспечивается подъемная сила?



— крыло,

— фюзеляж.

т • * t

4) «Выбирай ответ, который напоминает что-то знакомое». Невежи думают, что учителя хотя бы раз упоминали и пытались вдолбить им в головы то, что звучит в формуле возможного правильного отве-та. Пример преодоления:



Как А. С. Пушкин охарактеризовал восстание Е. Пугачева? >

— «дубина народной войны»,

— «бунт, бессмысленный и беспощадный».

5) «Выбирай ответ, который соответствует общим ожиданиям». Конечно, понятие «ожидания» не является строгим. И в частных случаях ожидания срабатывают по-разному. Но в целом, руководствуясь твердым знанием о стереотипных ожиданиях

323

Основы психодиагностики



учащихся, можно составить вопрос. Например, эффект предыдущего вопроса основывается на том, что учащиеся ожидают от Пушкина положительного отношения как к фигуре Пугачева, так и к делу его жизни — восстанию- Многие ожидания строятся на базе стремления к преодолению когнитивного диссонанса. Например, трудно предположить, что еще за несколько дней до начала самой кровопролитной войны Сталин поддерживал с Гитлером отношения стратегического партнерства. Пример вопроса:

В какую страну экспортировал Советский Союз стратегическое сырье для сталелитейной промышленности (никель, молибден) накануне вторжения гитлеровской Германии в 1941 году?



— в Великобританию?

— в США?


— в Германию?

*

ЛОГИКО-СЕМАНТИЧЕСКАЯ КЛАССИФИКАЦИЯ ЗАДАНИЙ

Ниже приведем перечень типов тестовых заданий по логической структуре.

1. Фактологический вопрос по модели «Что-кто-где-когда?»

В какой стране царь Петр Великий учился корабельному делу:



— в Голландии;

— в Англии;

— в Германии.

2. Функциональный (целевой и причинный) вопрос по модели «Для чего-зачем-почему?»:



324

Практические задачи школьной психодиагностики

Для чего Петр поехал в Голландию?

— жениться,

— отдохнуть,

— учиться корабельному делу.

Данный пример указывает на ретроспективно-историческую «целевую причинность» и в этом смысле может считаться таким же фактологическим, как и предыдущий вопрос. Заданный в актуальном плане такой, вопрос позволяет раскрыть понимание более глубоких функциональных связей вещей, чем простой фактологический вопрос, апеллирующий к обыкновенной памяти. Пример:

Чему служит карбюратор в автомобиле?

— охлаждению двигателя,

— приготовлению горючей смеси,

— распределению зажигания.

3. Структурный вопрос по модели «Из чего?» (или из каких частей состоит?).

Базовый комплект персонального компьютера состоит из:

— процессор, оперативная память, дисковод, монитор, клавиатура;

— процессор, оперативная память, дисковод, монитор, клавиатура, принтер;

— процессор, оперативная память, дисковод, монитор, клавиатура, модем.

4. Концептуальный вопрос по модели «Определи понятие». Пример:

Прямоугольник — это:

— четырехугольник, у которого противоположные стороны параллельны;

325


Основы психодиагностики

— многоугольник, у которого все углы прямые;

— четырехугольник, у которого все углы прямые,

чг 5. Концептуально-ассоциативный вопрос по модели «Заполни пропуск». Пример:

Щелочь при соединении с ... дает соль.

— с щелочью,

— с солью,

— с кислотой.

6. Концептуально-аналитический вопрос по модели «Проведи аналогию». Пример:

Человек так относится к классу млекопитающих, как крокодил относится к классу...



— земноводных,

'■ — пресмыкающихся,

— динозавров.

■ С помощью аналогии производится транспозиция не только родо-видовых отношений, но вообще любого типа отношений, Например, это может быть отношение родства:

Шурин так относится к Свояченице, как деверь относится к ... ;

— золовке,

— невестке,

— свекрови.

■ * * •

7. Задание по типу «Продолжи ряд». Пример: «Екатерина II, Александр I, Александр II...» .



— Александр Ш,

— Николай I,

— Николай П.

326


Практические задачи школьной психодиагностики

8. Концептуально-семантическое задание установления смысловой эквивалентности или близости. Например, ниже -приводятся три политические позиции по аграрному вопрору в вдсской революции, надо найти две эквивалентные по своим'политическим последствиям:

1) Землю отнять у помещиков (если будут сопротивляться, то насильственно) и поделить между крестьянами.

. 2) Землю отнять у помещиков и национализировать.

3) Землю отнять у помещиков и передать «колхозам», во главе которых поставить присылаемых из областных и районных центров председателей.

*

Варианты ответов: . .



— эквивалентны 1 и 2;

— эквивалентны 1 и 3;

— эквивалентны 2 и 3.

в *

9. Проблемно-операциональное задание «Реши задачу». В условиях сообщаются такие данные, которые благодаря жестким и однозначным связям и законам в принципе позволяют восстановить неизвестное. Конечно, это наиболее глубокий тип заданий, но, к сожалению, в краткой форме он может быть использован лишь для тех областей знаний, которые характеризуются высокой степенью формализации отношений между объектами (понятиями). Это математика, физика, химия.

Конечно, приведенный выше перечень следует считать далеко не полным рабочим ориентиром для начинающего разработчика тестов. В каждой предметной области специалисты наверняка назовут ряд специфичных приемов для построения заданий, опи-

327


Основы психодиагностики

рающихся на специфику структуры знаний в данной области.

ТЕМАТИЧЕСКАЯ РЕПРЕЗЕНТАТИВНОСТЬ

Задания не должны быть случайными или неравномерно разбросанными по карте знаний в данной предметной области. Оригинальность задания должна достигаться за счет использования оригинальной логической структуры для хорошо известного и основополагающего вопроса, а не за счет избитой логической структуры для вопроса совершенно экзотического, частного и не имеющего фундаментального значения. Для того, чтобы добиться представительности набора заданий (варианта теста) по отношению к тестируемой области, следует воспользоваться простым приемом — составить план в виде таблиц:



Тема\Тип

Понятия

Принципы

Факты

Задачи

Тема!

*

*

*

*

Тема 2

*

*

*

*

Тема К

*

*

*

*

На пересечении строк и столбцов в клеточках X данной таблицы надо проставить номера составленных вами заданий. Тогда вы увидите, какие темы освещены менее других и какие логико-семантические типы заданий следует специально разработать и добавить для определенных тем.

Кроме обеспечения тематической сбалансированности, в тесте учебных достижений следует предусмотреть, чтобы ни одно из заданий теста не служило подсказкой для ответа на другое задание.



328

Практические задачи школьной психодиагностики

ТРУДНОСТЬ ЗАДАНИЙ

Составитель заданий к тестам не должен забывать, что тестовые задания по своей трудности есть нечто противоложное так называемым творческим» или «олимпиадным», заданиям. Если для «олимпиад» уместны трудные задания, позволяющие дифференцировать прежде всего лучших от самых лучших, то для тестов нужны элементарные задания, позволяющие скорее дифференцировать неподготовленных (худших) от умеренно подготовленных («середнячков»). Кроме того, следует учесть, что тесты даются с ограничением времени: на 20 заданий отводить целесообразно не более 10 минут. Лучший балл здесь показывает тот, кто уверенно и быстро применяет базовые знания, кто способен показать хороший умственный темп, высокую степень автоматизации основных навыков, «свернутость» понятий и умственных операций. Хороший ориентир в том, какой трудности должны быть тестовые заданий, может быть сформулирован так:

БЕЗ ОГРАНИЧЕНИЙ ВРЕМЕНИ ОТЛИЧНИК ДОЛЖЕН УМЕТЬ ОТВЕТИТЬ НА ВСЕ 100 ПРОЦЕНТОВ ТЕСТОВЫХ ЗАДАНИЙ, НО ПРИ ОГРАНИЧЕНИИ ВРЕМЕНИ ОТЛИЧНИК СО СРЕДНИМ УМСТВЕННЫМ ТЕМПОМ ДОЛЖЕН ОТВЕТИТЬ ТОЛЬКО НА 70—80 ПРОЦЕНТОВ ТЕСТОВЫХ ЗАДАНИЙ.

Самый эффективный метод выяснения трудности заданий — проведение пилотажного эксперимента. К этому эксперименту можно, например, привлекать учеников из более старшего класса, для которых он может стать хорошим поводом повторить материал и выяснить пробелы перед экзаменами.

Скорость ПИЛОТИРОВАНИЯ теста и расчета трудности заданий значительно возрастает, если учи-

329


Основы психодиагностики

тель располагает компьютерным классом и специализированной программой для оперативного тестирования, такой, например, как ТЕСТАН («Гуманитарные технологии», МГУ). При помощи специализированного редактора-формуляра ^атой программы легко ввести в компьютер сами тексты заданий, тесты вариантов ответа, ключи, интерпретационные сообщения. Копирование с дискету на дискету (или встроенные диски компьютеров) -*- самый быстрый и доступный метод размножения теста. В любой момент после сбора группы протоколов можно включить режим обработки данных и расчета тестовых норм. Тренин-говый режим программы позволяет тут же выдавать на экран объяснения для ученика, допустившего ошибку.

Ключевые термины: декларативные знания, операциональные знания, ассоциативное мышление, концептуальное мышление, ответы-дистракторы, психологика испытуемого, логико-семантическая классификация заданий, тематическая репрезентативность, пилотирование трудности заданий.

3.8. ТЕСТИРОВАНИЕ И ТРЕНИНГ В КОМПЬЮТЕРНЫХ ИГРАХ

"...


Новые технологические возможности для психодиагностики способностей, умений и знаний открывают компьютерные игры, широко распространившиеся благодаря появлению компьютеров не только на предприятиях и в школах, но и дома.

Существуют несколько различных психолого-педагогических аспектов проблемы компьютерных игр. И прежде чем мы обсудим их психодиагностический

330

Практические задачи школьной психодиагностики

потенциал, затронем, пожалуй, даже более острый вопрос о пользе или вреде компьютерных игр.



Влияние компьютерных игр на детей

Одним из мотивов приобретения компьютера домой для многих занятых родителей является обеспечение игрового досуга для детей. При этом компьютер принимает на себя роль более активного развлекательного устройства, чем обыкновенный телевизор. Ведь, играя на компьютере, ребенок не просто сидит, так сказать «разинув рот», а активно взаимодействует пусть с искусственным, но все же взаимодействует с каким-то миром. При этом он учится не только быстро нажимать на клавиши, но и строить в своей голове ОБРАЗНО-КОНЦЕПТУАЛЬНЫЕ МОДЕЛИ, без которых нельзя добиться успеха в современных компьютерных играх, требующих раскрытия закономерностей в переходе от одной игровой ситуации («сцены») к другой. Такие игры обладают несомненным развивающим потенциалом,. особенно для развития интеллекта. И в этом проявляется их положительное влияние на развитие детей.

Другой вопрос —о влиянии компьютерных игр на физическое здоровье детей и на развитие личностных и прежде всего ценностно-ориентационных, моральных качеств.

Электромагнитная вибрация и ионизирующее излучение даже самых хорошо защищенных современных мониторов — тяжелая нагрузка на зрение и осанку ^сформировавшегося организма. САНИТАРНО-ГИГИЕНИЧЕСКИЕ требования совершенно категоричны — не более 1 часа в день для подростков и старшеклассников и не более 30—40 минут для детей младшего школьного возраста (для того, чтобы



331

Основы психодиагностики

обезопасить детей, остающихся одних дома, приходится просто уносить с собой соединительные кабели или пользоваться более изощренными ключами и паролями доступа к сегментам жесткого диска и отдельным программам). Хотя игры дают ребенку в большей степени возможности для активной эмоциональной разрядки, чем пассивное поглощение эмо-циогенных впечатлений у экрана телевизора, в больших дозах они приводят к накоплению хронического стресса со всеми вытекающими отсюда последствиями для организма.

Что касается влияния на личность, то это зависит от репертуара игр- К сожалению, психологические исследования, в том числе проведенные в нашей стране, показали, что доминирующие на рынке КОММЕРЧЕСКИЕ ИГРЫ западного производства культивируют агрессивно-индивидуалистическую мораль, что быстро отражается на самосознании подростка, особенно талантливого («Я против всех!»). С другой стороны, если бы разработчики игр больше заботились не о потакании примитивным инстинктам, а работали над созданием поучительных в моральном плане игровых сюжетов, то подобный эффект игровой практики наверняка сменился бы с «минуса» на «плюс». Но индустрия развлечений, к несчастью, идет во всем мире другим путем. Несомненным фактом является ныне то, что сюжеты компьютерных игр, также как и сюжеты коммерческих шоу-программ и кинофильмов, уже создаются поколением людей, прошедших с детства школу гедонистического аутизма (под девизом «Мир — источник моих наслаждений»), и они просто транслируют собственную мораль новым поколениям людей. Для них любая шоу-программа, в том числе компьютерная игра, — это особый наркотик или добавка к настоящим наркотикам.

Условность мира современных компьютерных игр

332


Практические задачи школьной психодиагностики

(как, впрочем, и мира «мультиков») требует чрезвычайного ограничения в доступе к ним дошкольников, вплоть до полного исключения в отдельных случаях- Пока не сформировался Образ Реального Мира, как интегративная база элементарного здравого смысла, воздействие условных игр может оказаться в случае впечатлительного ребенка до определенной степени «шизофренизирующим». Во всяком случае нередко ребенок застревает на этапе младенческого АУТИЗМА и эгоцентризма: оказывается не чувствительным к реальным требованиям реального мира взрослых.



Психодиагностический потенциал коммерческих игр

Известно, что водка — яд, но иногда позволяет согреться. Так и коммерческие компьютерные игры следует утилизировать как неизбежное зло, из которого приходится извлекать хоть какую-то пользу хотя бы потому, что искоренить его все равно невозможно.

Даже элементарное поисковое (стихийное) наблюдение за тем, как ребенок играет в игры, дает очень много информации для понимания его психического склада. На повестке дня — разработка специальных методик стандартизированного аналитического наблюдения такого типа.

Отношение к репертуару. Если ребенок предпочитает («прилипает») подчеркнуто агрессивные игры (или сцены в одной многоплановой игре), то значит он стремится преодолеть страх перед какими-то явлениями или людьми. Это, как правило, просто электронный аналог того, что происходит у детей с обычными игрушками. Точно так же, как ребенок может бить, рвать, колоть и резать какую-нибудь из

333

Основы психодиагностики



своих кукол, чем-то напоминающую ему об испугавших его людях или событиях, точно так же он обходится и с электронными персонажами. При этом шум взрывов, писки, крики, «кровь», разливающаяся по экрану, г*- все это радует ребенка, так как создает впечатление собственного мнимого могущества, иллюзию победы над врагами. В этом случае собственно интеллектуальный интерес к разгадыванию каких-то игровых загадок и головоломок уходит на второй план. Этот пример показывает, каким образом ролевая компьютерная игра выполняет роль стихийной проективной методики, вскрывающей часто спрятанную от окружающих внутреннюю жизнь ребенка. В ролевой игре игрок стремится к символическому удовлетворению (СУБЛИМАЦИИ) фрустри-рованной (вытесненной) потребности, и мы узнаем об этой потребности. В данном примере это ПОТРЕБНОСТЬ САМОЗАЩИТЫ и компенсации ощущения собственной беспомощности и страха. Игра может дать ключ к разгадке причин многих производных невротических симптомов, возникающих на почве непреодолимой угрозы.

Отношение к рекордам. Если ребенок сосредоточен на достижении наилучшего результата в одной какой-то короткой игре, в которой партия быстро заканчивается и удается взглянуть на перемены в «ТАБЛИЦЕ РЕКОРДОВ», то значит налицо повышенная мотивация достижения, или соревновательная мотивация^

Отношение к темпу. Медлительные дети с плохой переключаемостью внимания избегают темповых игр, где темп событий не зависит от выбираемого ими темпа. Мягкая ПОДСТРОЙКА ТЕМПА под возможности игрока может обеспечить необходимый коррекционный и тренинговый эффект. Нужно искать программы, которые обладают возможностями такой подстройки (или воспользоваться особыми

334


Практические задачи школьной психодиагностики

программами-замедлителями, замедляющими общий темп работы компьютера).

. Отношение к трудности. Если игра допускает самостоятельный выбор уровня трудности, и ребенок после первого же успеха на низком уровне сразу резко повышает уровень трудности, а после первой же неудачи резко снижает свои притязания (совсем как в классической методике по изучению * УРОВНЯ ПРИТЯЗАНИЙ» Хоппе), то это означает, что ребенок отличается повышенной ЭМОЦИОНАЛЬНОЙ ЛАБИЛЬНОСТЬЮ, у него не сложилась зрелая рациональная реакция на успех и неудачу. Такому ребенку в педагогической практике нужны очень мягкие санкции в виде поощрения (похвалы) или наказания (порицания), так как чрезмерные санкции приведут в его случае только к невротическому срыву и обратному эффекту — парадоксальной фиксации нежелательного псевдоадаптивного поведения. Отношение к проблемам. Посмотрите, как ребенок реагирует на ситуации, в которых просто не знает, как надо действовать. Если он начинает активно предпринимать поисковую активность, следуя тактике проб и ошибок, это симптом активно-им-. пульсивного КОГНИТИВНОГО СТИЛЯ. Если ребенок стремится тщательно перечитать инструкцию к игре, вернуться к прежним сценам и изучить опыт прежних собственных действий, это АКТИВНО-РЕФЛЕКСИВНЫЙ стиль. Если ребенок тут же теряет к игре интерес, это тревожащий симптом пассивного когнитивного стиля, который говорит чаще всего не столько о дефиците познавательной потребности, сколько о дефиците уверенности в своих познавательных способностях.

Большинство компьютерных коммерческих игр оперируют визуальными образами (а не словами и числами), и в этом смысле они тестируют скорее визуальное, образное мышление, нежели вербальный

335

Основы психодиагностики



или нумерический интеллект. Тем не менее они дают возможность проследить две важнейшие функции общего интеллекта на этом визуальном материале: функцию ЭКСТРАПОЛЯЦИИ ЗАКОНОМЕРНОСТЕЙ (переноса из старой в новую ситуацию) и функцию ГЕНЕРАЛИЗАЦИИ (обобщения, переноса) НАВЫКА.

Если столкнувшись впервые с каким-то игровым персонажем, который сразу после первого «коварного» приветствия тут же наносит удар по «автогерою» (персонажу, которым управляет игрок), ребенок при столкновении со следующим «приветливым» персонажем немедленно отводит своего «автогероя» на безопасное удаление, это означает, что у данного ребенка происходит быстрая и эффективная экстраполяция закономерностей, позволяющая абстрагироваться от частных свойств стимула к его более существенным, функционально-смысловым свойствам* Если в то же время ребенок осваивает еще и какую-то последовательность клавиатурных действий (нажать одну комбинацию клавиш или кнопок джойстика, а затем другую комбинацию клавиш), происходит и определенная генерализация навыка.

Более яркий пример генерализации навыка выражается в использовании особой клавиши, меняющей угол обзора игрового поля (вызывающей, например, вид сверху). Если ребенок активно пользуется этим приемом в новых ситуациях, то значит он обобщил для себя средство активного формирования в своей голове целостной образно-концептуальной модели данного игрового мира.

В этом кратком изложении мы дали читателю только отдельные примеры, иллюстрирующие ключевые идеи использования компьютерных игр для психодиагностического наблюдения.

336

Практические задачи школьной психодиагностики



Достарыңызбен бөлісу:
1   ...   15   16   17   18   19   20   21   22   ...   29




©dereksiz.org 2024
әкімшілігінің қараңыз

    Басты бет