Дәрістер мазмұны 1-дәріс. «Педагогикалық зерттеулердің әдістері»



бет73/127
Дата04.10.2023
өлшемі1.69 Mb.
#479729
түріДиплом
1   ...   69   70   71   72   73   74   75   76   ...   127
Дәрістер мазмұны

Тестілеудің кемшіліктері:
Тестік сұрақтарды құрастыру, топтастыру ұзақ үрдіс. Барлық пәндер бойынша стандартты тестер жоқ, бар болған да сапасы дұрыс емес. Тестілеу кезінде алынатын мәліметтер бойынша біз оқушының қандай тараулардан ақаулар бар екенің анықтай алсақ та, ақаулардың себебін анықтай алмаймыз. Тест білімнің жоғары, продуктивті, шығармашылық, әдістемелік деңгейін тексеруге, бағалауға мүмкіндік бермейді. Тестте көп сұрақтардың қамтылуы уақыттың жетпеуіне, асығуына байланысты кемшілік туғызады.
Тестілеуде кездейсоқтық элементтер бар. Мысалы, оңай сұраққа жауап бере алмаған оқушы күрделі сұраққа жауап бере алады. Бұған себеп, бірінші сұрақта байқаусыз қате жіберілсе, екінші сұрақта жауапты ойланып табу бола алады. Бұл жағдай тестің нәтижесін бұрмалайды және оларды талдау кезінде есепке алудың қажеттілігіне әкеп соқтырады. Сұрақты аяғына дейін оқымау. Тест тапсырмасына қойылатын негізгі талаптар мыналар:

  • Тест жұмысын өткізуде белгілі бір уақыттың болуы;

  • Тапсырмаларды орындау үшін берілген нұсқаулардың түсінікті, айқын болуы;

Мектепте оқушы білімін бекіту, қайталау, алған білімді жүйелеу және бақылау мақсатында пайдалануға болатын тестің бірнеше түрлері бар.
Тесттің түрлері: толықтыру тесті, таңдамалы тесті, еске түсіру тесті, сәйкестендіру тесті, реттік тесті, аралас тесті, кәсіптік бағдар тесті, баламалы тесті.

  1. Толықтыру тесті: оқушыларға тапсырма сөйлем түрінде беріледі де сөйлемдегі кей сөз орынына (цифр, формула, сөз т. б) үш нүкте беріледі. Мұндай тапсырмадағы жауап қысқа тұжырымды бір мәнді болуы шарт.

  2. Таңдамалы тесті: оқушыларға берілген тапсырмамен қоса оның дұрыс және дұрыс емес жауаптары беріледі. Тапсырма үлестірме қағаз арқылы беріліп, оның жауабының саны төртеуден кем болмағаны жөн. Оқушы жауабы бағдарламаланған құрылым арқылы немесе перфокарта кілті болады.

  3. Еске түсіру тесті: сұрақ нақты беріледі де, жауабы бір мәнді болуы шарт. Еске түсіру тестінің сұрақтарын түзегенде сұрақ нақты, анық қойылады, ал жауабын сөз, сан, формула т.б. түрде берілуі мүмкін.

  4. Сәйкестендіру немесе салыстыру тесті: мағынасы бір-бірімен байланысты тапсырмалардың екі бағанға әртүрлі ретпен орналастырылуы. Мұндай тесті жасауда бірінші бағанда қысқа тұжырымды сөйлем болса, екінші бағанда сәйкес сөз, белгі, сызба болуы керек.

Сөйлем саны 5 тен 15 ке дейін болса, екінші бағандағы сөз, белгі, сызба, нұсқа т. б саны екі – үшеуі артық болғаны.

  1. Реттік тест (ранжирование) тесті: бақылау нысаны (құбылыс, шамалар, формула т. б) ретімен жазылуы (айтылуы) керек. Тесті тапсырма дайындағанда оның саны 10 шақты болғаны жөн.

  2. Аралас тесті: оқушыға берілетін тапсырма әртүрлі тест түрінде (мысалы: толықтыру, таңдамалы т. б) беріледі.

  3. Құрама тесті (комбинированный): құрамында бірнеше пәндердің бір-бірімен үйлесуі.

  4. Балама (альтернативный) тесті: тесттің бұл түрін жасауда жауабын білуге ықпал ететін сөзден аулақ болған жөн. Сөйлем қысқа тұжырымды, мазмұнды, бір мәнді болғаны дұрыс. Тесттің мұндай түрінің жауабы сөзбен (дұрыс, дұрыс емес) ия немесе жоқ немесе белгілер арқылы +, — т. б беріледі. Мұндай типтен тесттік тапсырманы графикалық диктант үлгісінде пайдалануға болады.

Тест формалары:

  1. Бір дұрыс жауапты таңдауды қажет ететін тапсырмалар

  2. Бірнеше дұрыс жауапты таңдауды қажет ететін тапсырмалар

  3. Сәйкестікті құру бойынша тапсырмалар

  4. Жауапты тіркеуді талап ететін тапсырмалар (жауапты толықтырып жазу)

  5. Логикалық және алгоритмдік реттілікті құру бойынша тапсырмалар.

Қазіргі оқыту үдерісінде өте жиі кездесетін тест түрлері «оқыту тесті» және «бақылау тесті». Оқыту тестінің мақсаты белгілі бір модульді не тақырыпты меңгертуге арналады, оқытушы негізгі рөл атқарады. Тапсырмалар сұрақ қою, жауап беру, есте сақтау, жазып алу, үйден ауызша қайталау, қайтадан жалпы сұрақ-жауап түрінде тексеру. «Бақылау тесті» осыдан кейін жүргізіледі, яғни оқушылардың тарау бойынша немесе белгілі бір тақырыпты қаншалықты меңгергенін анықтау үшін. 
Тестілеудің алуан түрлігі білім жетістіктерін тексеру ғана емес, сонымен қатар, түрлі құзыреттілікті анықтауға мүмкіндік беретін тиімділігі жоғары педагогикалық өлшем құралы саналады. Қазіргі кезде тестілеуге тең келетін немесе одан артық оқу жетістіктерін бағалауда бос сөзділікпен абстрактылықтан гөрі, нақты да анық жауап беретін басқаша мүмкіндіктер болмағандығымен де тестілеу әдісінің әлемдік білім кеңістігіндегі орны жоғары.
Педагогикалық өлшемдер әдістерін практикалық түрде құрастыру үшін бір ғана теорияны білу жеткіліксіз. Өнеркәсіптік өнімді шығару сияқты, теориядан басқа, онда материалдар, жабдықтар, кадрлер мен технологиялар қажет болады, сол сияқты компоненттер тестіні шығаруда да қажет. Бірақ бұл теорияға енбейді. Тестілерді құрастырда оқу мәтіндері мен оқулықтарының мазмұнын, тапсырмалардың мазмұны мен формаларын талдау әдістерінің жиынтығын қамтитын әдістеме қажет. Сонымен бірге, ақпаратты жинау және өңдеу процесі, тест пен тест тапсырмаларының параметрін есептеу әдістері, статистикалық көрсеткіштерді есептеу әдістері және т.б. қажет болады. Жалпы алғанда, білімді тексерудің тест әдісі туралы теория қажет. Мұндай тектес теорияларды философиялық әдебиеттерде әдіснамалық теория деп атайды.
Тестілерді құрастыру және олардың сапасын бағалаудан басқа, педагогикалық өлшемдер процесі тестілерді белсенді қолдануды қамтиды. Америкалық әдебиеттерде тексерудің бұл бөлігі Test Administration деп аталады. Бұл іс-әрекеттің міндетінің тест теориясының мазмұнымен біршама ғана сәйкестігі бар. Мәні бойынша мұнда тестілерді қолданумен айналысатын процесті ұйымдастырудың қажеттілігін атап өтуге болады. Батыс әдебиеттерінде Test Administration шешетін алты міндет айқындалады.
1. Тест бақылауын тестіні құрастырушының нұсқауларына сәйкес ұйымдастыру;
2. Сыналушылардың тестілеуге даярлау, олармен бақылау кезінде және одан кейін жұмыс жүргізу;
3. Тест бақылауын сапалы ұйымдастыру үшін қажетті материалдық-техникалық жағдайлар жасау: орынды, техниканы, приборларды, бағдарламалық-әдістемелік қамтамасыздандырылуды дайындау;
4. Тестілеуге деген жағымды қатынас үшін жағымды психологиялық жағдайларды жасау;
5. Жеке және топтық бақылу үшін, мәліметтерді тиімді және сапалы жинауды қамтамасыз ететін сыналушыларға тестінің қолайлы формаларын ұсынуды жүзеге асыру;
6. Баллдарды есептеу, мәліметтерді көрсету мен интрепретация әдістерінің оптималды жүйесін құру.
Мұндағы маңызды ерекшелік, Test Administration-ға қатысты матералдар, әдетте теориялық әдебиеттерде емес, басым түрде әдістемелік әдебиеттерде жарияланады, мұны әдіснама мен практиканың арақатынасы арқылы түсіндіруге болады. Осылайша, тестілерді құрастыру үшін тест теориясындағы білім қажет болса, ал педагогикалық өлшемдер процесін ғылыми ұйымдастыру үшін тест әдісін құрастыруды, әртүрлі мақсаттар үшін тестілерді қолдануды, тест нәтижелерін интрепретациялауды, тест процесін ғылыми ұйымдастырудың принциптерін құруды қамтитын әдіснаманың қажеттілігі туындайды.
Тәуелсіз елді өркениетті әлемге танытатын, дамыған елдер қатарында терезесін тең ететін күш – білім және білімді ұрпақ. Сондықтан да Елбасымыз Н.А. Назарбаев өзінің Жолдауларында білім саласына айрықша көңіл бөліп, еліміздің жарқын болашағы білікті де парасатты жастардың қолында екенін назардан тыс қалдырған емес. Қазіргі қоғамның өзекті мәселелерінің бірі – әлеуметтік, экономикалық өзгермелі жағдайларда өмір сүруге дайын болып қана қоймай, сонымен қатар оны жүзеге асыруға, жақсартуға игі ықпал ететін жеке тұлғаны қалыптастыру.
Адамның кез келген іс-әрекеті нәтижелерді жоспарлаумен, ұйымдастырумен және орындау сапасын бақылаумен қатар, оларды тексеруді қамтиды. Бақылаудың маңызы мақсаттарды алынған нәтижелермен салыстырудан құралады, ол өз кезегінде өлшеу жүйесінің, өлшеу бірлігі, нормативтер арқылы жүзеге асырылады. Адамзат іс-әрекетінің барлық саласында бақылаушы-өлшеуші іс-шара-лардың негізі ретінде қазіргі кезде мемлекеттік стандарттар алынады. Қазақстан Республикасында білім беруді және ғылымды дамытудың 2016-2019 жылдарға арналған мемлекеттік бағдарламасын-да «Орта білімді жаңғырту жобасы шеңберінде бағалау жүйесін жетілдіру мақсатында Дүниежүзілік банкпен бірлесіп, 2020 жылға қарай:
1) білім алушылардың ұлттық емтихандары мен оқу жетістіктерін мониторингтік зерттеулердің рәсімдері жетілдіріледі;
2) оқушылардың оқу жетістіктерін бағалау жетілдіріледі;
3) тест стандарттары әзірленеді;
4) білім алушылардың дағдылары мен білігін, құзыреттілігінің кең спектрін тексеру үшін тест тапсырмаларының базасы құрылады» делінген.
Замануи білім беру жүйесіндегі педагогикалық өлшемдер білім алушылардың білім алудағы жетістіктерінің негіз құраушы көрсеткіші болып табылады. Педагогикалық өлшемдер – бұл білім алушылардың бағаланатын көрсеткіштері мен эмпирикалық шкаланың нүктелері арасындағы сәй-кестікті орнату үдерісі, мұнда көрсеткіштердің әртүрлі бағалауы арасындағы қатынастар сандық қатардағы қасиеттермен көрініс табады, яғни оқу қабілеті арқылы көрінеді, білім алу нәтижелері сандық эквивалентте көрініс табуы қажет.Соңғы кезде зерттеулерде, мақалаларда педагогикалық өлшемдер саласындағы негізгі ұғымдар мен терминдер қарастырылған және тест тапсырмаларын құрастырудағы ұсыныстар берілген.
Тестілеу теориясының дамуына байланысты педагогикалық өлшеуді негіздеу процедураларының арасында практикалық, әдіснамалық деңгейдегі (эталондық деңгейдегі көрсеткіштерді анықтау) жұмыс бағыттары анықталып, абсолюттік объективтілік ұғымы ендірілді. Кез-келген, соның iшiндe педагогикалық өлшемдердің сырттан әсер етуші әртүрлі факторларға тәуелділігіне байланысты абсолюттік объективтілік нәтиженің қол жетпес сипаты деген түсініктемеде ашылады.
Қaзipгi бiлiм саласындағы объективтілік тестілеу процедуралары арқылы айқындалады және педагогтің субъективті пайымдауына тәуелсіздігімен сипатталады. Процедуралық объективтілік толығымен тестілеу процедураларының эмпирикалық, объективтілігімен теңдестіріле отырып, тестілеу нәтижесіне, жалпы тестінің сенімділігіне, талдау мүмкіндіктеріне шек қойылады. Оқушының білімін, дайындығын тексеруде, педагогтерді бақылау, бағалау процедураларынан алшақтатып, тестілеу арқылы, тест нәтижесін компьютерлік техника мүмкіндігін пайдалана отырып санау, қорытынды шығару объективті деп есептелуде. Ұлттық бірыңғай тестілеудегі төрт жылғы практика керсетіп отырғандай, 11 жылдық білімді 3 сағаттық тестілеу арқылы, компьютерлік техниканың есептеуімен тексеру арқылы объективтілікке қол жеткізуге болады деген тұжырым қалыптасуда. Шындап келгенде, мұндай түсініктің пайдасынан кepi әcepi басым.
Өлшеу объективтілігінің eкiнші түpi тестінің жеке тапсырмаларына берілген жауап ұпайларының арифметикалық қосындысы немесе тестілеу нәтижесінде алынған, өңдеуден өтпеген, қазып алынған таза руда секілді «шикі» күйіндегі ұпай сандары. Ал, өлшемнің шынайылығы өлшеудің кез келген қателігінің әсерінен арылған, абсолюттік объективтілікпен теңдестірілуін білдіруі керек. Өлшеу құралына, санау тәсілдеріне байланысты бақыланатын «балдан», шынайылық деңгейдегі бағаның айырмасы, ол өлшеу сәтіндегі объектіні сипаттаушы – өлшеу құралының тұрақтылығында, тәуелсіздігінде. Мысалы, сантиметр құрал ретінде тұрақты, оның өлшену объектісімен арадағы тәуелділігі жоқ.
Tүсініктi нақтылау үшін Ұлттық бірыңғай тестілеуді өткізу сәтінен бip мысал: 2006 жыл.

  • өлшенетін объект: оқушы білімінің нәтижесі.

  • өлшеу мақсаты: білім сапасын анықтау.

  • өлшеу құралы: Ұлттық бірыңғай тесті (120 сұрақ, төрт пән бойынша);

  • өлшеу кеңістігі: Ақтөбе облысы, Ойыл ауданы, спорт зал, 85 оқушы.

  • қойылған шарт: «объективтілік», «тазалық», «шынайылық».

- тестілеу шамамен сағат 9.00 басталды, 12.00 аяқталды.
Білім сапасына әсер етуші нeгiзгi факторлар ретінде ауа температурасының 38 градус Цельсияға дейін көтерілуін, оқушылардың шамамен 60-70 шақырым жол (шаңы аспандап тұрған, ойлы-қырлы жол) жүріп келуі есепке алынбайды.
Салдары: оқушы денсаулығының төмендеуі, қан қысымының көтерілуі, оқушылардағы әлcipey, анемия, т.б. Бұл жердегі объективтілік ұғымының iшiнe кірмей, есепке алынбай отырған дүние - баланың өз кeңicтiгi.
Өлшеу объективтілігінің үшінші түpi классикалық (дәстүрлі) объективтілік негізіне бақылау арқылы алынған нәтиже мен шынайылық арасындағы аксиомалық қатынастың байланысы жатады. Бұл жағдайда өлшеу объективтілігі өлшеуде жіберілетін қателікті есепке алады. Аксиомалық қатынас біздіңтүсінігімізде, өлшеуде жіберілетін қателік өлшеу мақсатындағы, кеңістігіндегі, өлшеу құралының мазмұнындағы, өлшеу сәтіндегі жағдайлардың бip коэффициенті ретінде есептелуін көрсетуі қажет.
Егер тест сипаты өлшеу сапасының талаптарын орындамаған жағдайда объективтілік жөнінде сөз қозғау артық деп ойлаймыз.
Объективтіліктің үшінші түсінігі инвариантты объективтілік тест құрастыру теориясына (ТҚТ) (Item Respose Theory (IRT) байланысты. ТҚТ артықшылығы оқушылардың дайындығын бағалауда тест тапсырмаларының қиындығына қарамастан, өлшеудің инвариантты объективтілігіне жеткізетін классикалық тест теориясына қарағанда ұтымдылығында.
Өлшем сапасының екінші критерийі – сенімділік (reliability), ол тест нәтижелерінің нақтылығын және олардың кездейсоқ факторлар әсеріне тұрақтылығын көрсетеді «Сенімділік қажетті болғанымен, өлшеудің жоғары нақтылық шарты болуға жеткіліксіз», - дейді М.Б.Челышкова. Педагогикалық өлшем нәтижелерінің барабарлығы – өлшеу нәтижелерінің тест жасаудағы мақсатқа сәйкес келуін сипаттайды. Барабарлық жоспарланған объектіні қаншалықты өлшеуге болатындығын сипаттайды. Сандық бағалаудағы барабарлық өлшеу нәтижелерін өлшеуге қатысты тестілеу жағдаяттарынан тыс критерийлермен сәйкестендіру арқылы алынады.
Қоғамдық ғылымдардағы өлшеудің жалпы теориясының пайда болу тарихын Б.Райт жақсы зерттеген. Ол өзі құратын теорияның барлық қоғамдық ғылымдар үшін, соның ішінде педагогика үшін пайдалы болатынына сенімді болды. Оның ойынша, ерте ме, кещ пе, ғылымда кеңейту мен бөлу тенденциялары, өзіндік дербес пәнді ажырату пайда болады. Сондықтан, өлшеудің педагогикалық теориясын психологиядағы, әлеуметтанудағы, басқа қоғамдық ғылымдардағы өлшеудің жалпы теориясынан бөліп ажырату мәселесі туындады.
Тесттер ерекше дамыған елдер ретінде Нидерланды, АҚШ, Англия, Япония, Дания, Израиль, Канада, Австралия алынады. Бұл тізімге халқының өмір сүру деңгейі жоғары елдердің енгені белгілі болды. Тесттерді қолдану білім берудің сапасына жағымды әсер етеді; білім беру сапасы басқару сапасымен байланысты; сапалы басқару халықтың өмір сүру сапасын арттыру үшін алғышарттарды құрады. Қазіргі кезде тесттердің көмегімен миллиондаған оқушылар мен студенттердің, әскери-лердің, басқарушы персоналдың дайындығы тексеріледі. Педагогикалық өлшем теориясы тестілеуді өткізудің әдістемелірнің ережелерін қамтиды, бұдан басқа ғылыми іс-әрекеттің үш маңызды бағытын қамтиды: осы теорияның тілін қалыптастыру, форма теориясы және тест тапсырмаларының мазмұнын іріктеу мәселелері.
Қазіргі кезде өлшеудің үш таныс теориясы бар:
1. Тесттердің классикалық немесе статистикалық теориясы (classical test theory, CTT). Бұл ХХ ға-сырдың басында солай аталды. Қазір «классикалық теория» сөзін метафора ретінде қарастыруға болады. Мұндай пікірдің дәлелі ретінде екі аргументті келтіруге болады. Біріншіден, бұл теорияның дәл, метафоралық атауы бар. Ағылшын тілінде ол «truе-score model of measurement» деп аталады. Сондықтан, оны теория емес, өлшеу моделі деп атаған дұрыс. Екіншіден, бұл модель – ХХ ғасырдың басындағы педагогика мен психологиядағы өлшеуге физикалық өлшеу теориясының идеяларын ауыстыру. Осыдан қысқартылған, шынайылығы аз аксиоматика шығады. Оны өлшеудің шынайы және қате компоненттерінің моделі деп атауға болады.
2. Екінші теорияны шартты түрде орыс тіліне «өлшеудің матемактикалық теориясы» деп атауға болады (Item Response Theory, IRT).
3. Үшінші теория – бұл теориядан үлкен. Бұл бір мезгілде әдіснама және метрикалық жүйе.
Сондықтан оның Г. Раштың метрикалық теориялық жүйесі деген атауға ие болады. Қазіргі кезде жаңа типтегі мектепке оқуға түсерде, шет елдердегі жоғары оқу орындары үміткердің құзыреттілік деңгейі, яғни практикалық іс-әрекеттегі міндеттерді шешу қабілеті тексеріледі. Міндеттер типтері оқушының шынайы өмірде болатын жағдайлары туралы жағдаяттар арқылы беріледі. Мұндай тесттер әдетте, уақыттың сұранысы мен күтілетін нәтижелерге қатысты білім беру нәтижелерінің өмірге қабілеттілігін анықтайды. Міндетті білім беруді аяқтау сатысында меңгерілген білімдер мен біліктер емес, олардың қалай қолданылатыны мен болашақта оқушылар үшін пайдалы болатыны, мектептегі оқудың білім алушыларды өзбетімен оқуға, өз бетімен қажетті ақпаратты іздеуге қаншалықты дайын екендігі, яғни қазіргі қоғамға табысты бейімделуі ерекше қызығушылық тудырады.
Бүгінгі күндегі білім берудің маңызды міндеті ретінде, білім берудің сапасын басқаратын, объективті инструментарийін құрастыру, оның оқыту мен бақылаудың өзгермелі тұжырымдамала-рына, практикалық тұғырларға, тұлғаның білім алу қажеттіліктеріне сәйкестігі алынады. ХХІ ғасыр-дың әлеуметтік-экономикалық перспективаларынан шығатын өзгерістердің заңдылығы, білім беру сапасын арттыру мақсатында оны инструментальды өлшеудің қажеттілігін анықтады. Білім алушылардың оқу жетістіктерінің сапасын бақылау және бағалаудың дәстүрлі жүйесінің білім беруді модернизациялау және оның сапасын басқарудың заманауи бағыттарымен сәйкес келмейтін, көптеген маңызды кемшіліктері бар.
Бірінші олардың қатарына педагогтардың бағалаудағы субъективтілік көрінісі; оқытудағы құзыреттілік тұғырға және заманауи талаптардың деңгейіне адекватты объективті бақылау құралдарының болмауы; бағалаудың стандартталған өлшеуіштерінің, бірыңғай шкалалардың және критерийлердің болмауы; оқу іс-әрекетінің нәтижелерін өзіндік бақылау, өзіндік түзету және өзіндік бағалауды жеткіліксіз әдістемелік қамтамасыз ету; тұлғалық-бағдарланған және дамытушы оқыту идеяларын практикалық жүзеге асырудың заманауи әдістерінің болмауы және т.б. Бұл мәселелерді шешуде жоғары оқу орындарында жаңа білім беру бағдарламаларын енгізу және білім беру үдерісіне жаңа білімдерді, едәуір тиімді және сұранысқа ие білім беру практикаларды тұрақты ендіру арқылы педагогикалық білім мазмұнын жаңартумен қатар құзыретті маман кадрларды даярлауды қажет етеді.
Дегенмен, педагогикалық өлшеуді дамытпайынша, білімді бақылау формалары қарапайым бюрократиялық бақылау формаларына айналады.
– Тест тапсырмаларының жаңа формаларын құрастыру;
– Тесттер мен тест тапсырмаларының мазмұнын маңызды жаңарту;
– Педагогикалық өлшеу мен білім беру іс-әрекетінің сапасы мен тиімділігінің көрсеткіштерін орталықтандырылған түрде құрастыру;
– Педагогикалық өлшеу тілін жақсарту.
Оқытудың әрбір деңгейі және әрбір оқу пәні үшін, мазмұны мен технологиялық формасы бойынша іріктелген тапсырмаларды құру ұсынылады. Бұндай логикалық тапсырма жаппай білім берудің сапасын түбегейлі өзгертуге қабілетті.
Дегенмен, мамандық дайындаудың көптеген болашақта шешілетін мәселелері:
– бағалау өлшемдерінің, білім сапасын бақылау құралдарының тиімділігін анықтау және жүйелеу;
– білім салалары бойынша білім сапасын бақылау және бағалау инструментарийлерін белгілеу;
– оқыту мен тәрбиелеудің нәтижелерін рейтингілік шкалалау:
– педагогикалық өлшеу саласында халықаралық стандарттарды ендіру бойынша басқа елдердің тәжірибесін немесе халықаралық тәжірибені зерттеу мен қолданудың алуан түрлі жолдарын зерттеу мәселелері тұр.


Достарыңызбен бөлісу:
1   ...   69   70   71   72   73   74   75   76   ...   127




©dereksiz.org 2024
әкімшілігінің қараңыз

    Басты бет