Білім беру бағдарламасы бойынша студенттерге арналған «Ақпараттық коммуникациялық технологиялар»

48 
 Бақылау сұрақтары: 
1. Деректер аналитикасы деген не? 
2. Шешім ағаштары деген не? 
3. Классификацияларын айт? 
Əдебиеттер: 
1. Т.Б. Нурпеисов, И.Н. Кайдаш “Қазіргі сандық əлемдегі информатика”, Оқу құралы, 
412 бб Алматы 2021ж. 
2. D.Shynybekov, R.Uskenbayeva., V.Serbin, N.Duzbayev, A.Moldagulova, K.Duysebekova, 
R.Satybaldieva, G.Hasanova, B.Urmashev “Information and communication technologies”, 
Textbook in 2 parts Part 1, Almaty, IITU, Pages: 643, 2017 . 
3. Джусупбекова Г.Т., Бесбаев Г.А., Ахметова С.Т., Рахымбек Н.Ж., Турганбекова М.М., 
Белесова Д.Т. «Ақпараттық коммуникациялық технологиялар» оқулық, М. Əуезов 
атындағы Оңтүстік Қазақстан мемлекеттік университеті, 176б, 2020 
4. 
Шевчук 
Е.В., 
Шпак 
А.В., 
Кольева 
Н. 
С. 
ИНФОРМАЦИОННЫЕ 
КОММУНИКАЦИОННЫЕ ТЕХНОЛОГИИ учебно-методическое пособие. Алматы: 
Эверо, 2020.- 108 с. https://elib.kz/ru/search/read_book/1729/ 
5. June J. Parsons and Dan Oja, New Perspectives on Computer Concepts 16th Edition – 
Comprehensive, Thomson Course Technology, a division of Thomson Learning, Inc 
Cambridge, MA, COPYRIGHT © 2014. 
6. Lorenzo Cantoni (University of Lugano, Switzerland) James A. Danowski (University of
Illinois at Chicago, IL, USA) Communication and Technology, 576
pages,NurpeisovaT.Kaidash ICT,Almaty,Bastay2017 
Дəріс 12. Деректерді басқару. 
Мақсаты: Студенттерді үлкен көлемді деректерді басқару жүйелерімен таныстыру. 
Жоспар: 
1. Үлкен көлемді деректерді өңдеу. Data Mining əдістері мен кезеңдері. 
2. Data Mining міндеттері. Деректерді визуализациялау. 
Қазіргі уақытта сараптық жүйелерге мұқтаждықтары бар өте көп компаниялар бар, 
бірақ қажет бағдарламалық қамсыздандырудың қымбаттылығы мен шамадан тыс күрделілігі 
көп жағдайда жеке сараптық жүйе құру идеясынан бас тартқызып, барлығына белгілі 
қарапайым Excel құжатын колдануға итермелейді. 
Сонымен қатар қызметкерлерді оқытуға кетеін қосымша шығындар, деректерді 
сақтаудың қымбат жүйелерін қолдау жəне т.б. Мұндай кезде көмекке ыңғайлы, лайықты 
жүйелер болады, соның бірі – Rapid Miner жүйесі. Rapid Miner – Data Mining үшін құрылған 
құрал, оның негізгі идеясы – сарапшы өзінің жұмысын орындау кезінде бағдарлама 
жазбайды. Rapid Miner нəтижелері қандай да бір алгоритм немесе алгоритм жиынының 
«ғажайып мүмкіндіктерінен» емес, көптеген жағдайда деректердің дайындық деңгейіне 
тəуелді болады. 
Rapid Miner-дағы жұмыстың шамамен 75% деректерді жинаудан тұрады, ол талдау 
құралдарын қолдануға дейін орындалады. Құралдарды сауатсыз пайдалану компания 
əлеуетін мағынасыз шашуға, кейде миллион доллар жоғалтуға əкеледі. Rapid Miner, Деректер 
қоймасы жəне CRM саласындағы əлемдегі танымал сарапшы Херб Эдельштайнның (Herb 
Edelstein) пікірі: «Two Crows компаниясының жақындағы зерттеуі Rapid Miner əлі де 
дамудың алғашқы сатысында тұрғанын көрсетті. Көптеген ұйымдар бұл технологияға 
қызығушылық танытады, бірақ кейбіреуі ғана мұндай жобаларды белсенді түрде енгізіп 
жатыр. Тағы бір маңызды сəт анықталды: Rapid Miner іске асыру процессі тəжірибе жүзінде 
күтілгеннен де қиын болып шықты. 
IT-командалары Rapid Miner құралдары қолдануда қарапайым деген мифпен 
қызықты. Мұндай құралды терабайтты деректер қорында іске қосу жеткілікті жəне пайдалы 

49 
ақпарат бірден пайда болады деп болжанады. Шын мəнінде, сəтті Rapid Miner жобасы қызмет 
мəнін, деректерді жəне құралдарды білу, сонымен қатар деректерді талдау процессін түсінуді 
талап етеді». Осылайша, Rapid Miner технологиясын қолданудан бұрын, əдістер жүктейтін 
шектеулерді жəне онымен байланысты болатын сыни сұрақтарды мұқият талдау, сонымен 
қатар технологияның мүмкіндіктерін дұрыс бағалау қажет. Сыни сұрақтарға келесілер 
жатады: 
1. Технология қойылмаған сұрақтарға жауап бере алмайды. Ол сарапшыны алмастыра 
алмайды, тек қана оның жұмысын жеңілдетіп жақсарту үшін қуатты құрал береді. 
2. Rapid Miner бағдарламасын құрудағы жəне пайдаланудағы қиындық. Бұл 
технология мультипəндік облыс болғандықтан, Rapid Miner қамтитын бағдарлама құру үшін 
əртүрлі саладағы мамандарды іске қосу қажет, сонымен қатар олардың арасындағы сапалы 
қарым-қатынасты қамтамасыз ету керек. 
3. Пайдаланушылардың біліктілігі. Rapid Miner əртүрлі құралдары интерфейстің 
əртүрлі дəрежесіне ие жəне пайдаланушының белгілі бір біліктілігін талап етеді. Сондықтан 
бағдарламалық қамсыздандыру пайдаланушының дайындық деңгейіне сай болуы керек. Data 
Mining-ті қолдану пайдаланушы біліктілігін жоғарылатумен үзіліссіз байланыста болуы 
қажет. Бірақ бизнес-процесстерді жақсы білетін Data Mining мамандары қазіргі уақытта аз. 
4. Деректер мəнін жақсы түсінусіз пайдалы мəліметтерді алу мүмкін емес. Анықталған 
шаблондар немесе тəуелділік моделі мен түсіндіруін мұқият таңдау қажет. Сондықтан 
мұндай құралдармен жұмыс істеу пəндік облыстағы сарапшы мен Rapid Miner құралы 
бойынша маманның тығыз қарым-қатынасын талап етеді. 
5. Деректерді дайындау қиындығы. Сəтті талдау деректердің сапалы алдын ала 
өңделуін талап етеді. Сарапшылар мен деректер қорын пайдаланушылардың айтуы бойынша, 
алдын ала өңделу процессі Data Mining-процессінің жалпы 80% пайызын алуы мүмкін. 
Осылайша, технолгия өзіне-өзі жұмыс істеу үшін, алдын ала деректерді талдау мен модельді 
таңдап, оны дұрыстауға кететін өте көп уақыт пен күш керек болады. 
6. Жалған, сенімді емес немесе пайдасыз нəтижелердің үлкен үлесі. Data Mining 
технологиясының көмегімен шын мəнінде өте бағалы ақпаратты табуға болады, ол алдағы 
жоспарлауда, басқаруда, шешім қабылдауда айтарлықтай артықшылық бере алады. Бірақ, 
Data Mining əдістері көмегімен алынған нəтижелер, жеткілікті жиі жалған жəне мəні жоқ 
қорытындылар қамтиды. Көптеген мамандар Rapid Miner құралы статистикалы дұрыс емес 
нəтижелердің үлкен санын бере алады деп айтады. Осындай нəтижелер пайызын төмендету 
үшін алынған модельдердің дұрыстығын тестілі деректерде тексеру қажет. Алайда жалған 
қорытындыларды толық болдырмау мүмкін емес. 
7. Жоғарғы құны. Сапалы бағдарламалы өнім əзірлеуші тарапынан бірталай еңбек 
шығындарының нəтижесі болып табылады. Сондықтан Rapid Miner бағдарламалық 
қамсыздандыруы дəстүрлі түрде қымбат тұратын бағдарламалық өнімге жатады. 
8. Репрезентативті деректердің жеткілікті санының болуы. Rapid Miner құралдары 
статистикалыдан қарағанда, теория жүзінде ретроспективті деректердің қатаң нақты бір 
санын талап етпейді. Бұл ерекшелік сенімсіз, жалған модельдерді анықтау себебі, жəне 
соның негізінде қате шешім қабылдау нəтижесі бола алады. Табылған білімдердің 
статистикалы мəнін бақылауды іске асыру қажет. 
Rapid Miner жүйесінің Statistica 8 ортасындағы мүмкіндігі StatSoft компаниясымен 
STATISTICA Rapid Miner жүйесі əзірленген болған, ол деректерді талдаудың əмбебап жəне 
жан-жақты құралы ретінде жобаланған жəне іске асырылған – əртүрлі деректер қорымен 
өзара қарым-қатынасынан бастап, графикалы-бағытталған тəсіл дегенді іске асыратын дайын 
есептерді құруға дейін. Берілген пакеттің барлық мүмкіндігін сипаттау үшін өте көп уақыт 
қажет болады, сондықтан бұл пакеттегі негізгі Data Mining құралдарына сипаттама береміз. 
- Бағдарламалық қамтамасыз ету нарығындағы Data Mining əдістерінің толыққанды 
пакеті; 

50 
- Дайын шешімдердің үлкен жиыны; 
- MS Office-пен толық біріктірілген ыңғайлы қолданушы интерфейсі; 
- Барлау талдаудың қуатты құралы; 
- Үлкен көлемді ақпаратпен жұмыс істеуге арналған толық оңтайландырылған пакет 
кешені; 
- Икемді басқару механизмі; 
- Жүйенің көп міндеттілігі; 
- Өте тез жəне тиімді өрістету; 
- Ашық архитектура, автоматтандыру мен қолданушы қосымшаларын қолдаудың 
шектелмеген мүмкіндіктері (Visual Basic, Java, C/C++ өндірістік стандартын қолдану). 
STATISTICA Rapid Miner жүйесінің жүрегі болып, Data Mining тапсырмаларына 
арнайы оңтайландырылған жəне 300 негізгі процедура қамтитын, Data Mining 
процедурасының браузері болып табылады, жəне олардың арасындағы логикалық байланыс 
пен деректер ағынын басақару, жеке талдау əдістерін құруға мүмкіндік береді. STATISTICA 
Rapid Miner жүйесінің жұмыс кеңістігі төрт негізгі бөлімнен тұрады: 
1. Data Acquisition – Деректерді жинау. Бұл бөлімде қолданушы талдауға арналған 
деректер көзін анықтайды, ол деректер файлы немесе деректер қорынан сұраныс болуы 
мүмкін. 
2. Data Preparation and Cleaning Transformation – Деректерді дайындау, түрлендіру 
жəне тазалау. Бұл жерде деректер түрленеді, сүзгіден өтеді, топтастырылады жəне т.б. 
3. Data Analysis, Modeling, Classification, Forecasting – Деректерді талдау, модельдеу, 
классификациялау, болжау. Бұл жерде қолданушы браузер немесе дайын модель көмегімен, 
болжау, классификациялау, модельдеу жəне т.б. сияқты қажетті деректерді талдаудың түрін 
беруі мүмкін. 
4. Reports – Нəтижелер. Бұл бөлімде қолданушы талдау нəтижелерін көру, түрін беру 
жəне жөндеуі мүмкін (мысалы, жұмыс кітабы, есеп беру немесе электронды кесте). 
RapidMiner-де тізбек операторлары интерактивті граф түрінде ұсынылады жəне XML тілінде 
(eXtensible Markup Language, негізгі тіл жүйесі) түрінде көрсетіледі. Осы жүйесі Java тілінде 
жазылған жəне AGPL version 3 лицензиясы арқылы қолданылады. Барлық негізгі 
функцияларына қатынау үшін Java API арқылы мүмкіндік алады. 
Data Mining тапсырмаларының классификациясы Стратегия бойынша жіктеуге сəйкес 
Data Mining міндеттері келесі топтарға бөлінеді: * мұғаліммен оқу; * мұғалімсіз оқыту; 
Мұғаліммен бірге оқыту категориясы Data Mining-тің келесі міндеттерімен ұсынылған: 
жіктеу, бағалау, болжау. Мұғалімсіз оқыту санаты кластерлеу міндеті болып табылады. 
"Басқалар" санатына алдыңғы екі стратегияға енгізілмеген міндеттер кіреді. Пайдаланылған 
модельдерге байланысты Data Mining тапсырмалары сипаттамалық жəне болжамды болуы 
мүмкін. Осы классификацияға сəйкес Data Mining тапсырмалары сипаттамалық жəне 
болжамды тапсырмалар топтарымен ұсынылады. Сипаттамалық (descriptive) есептерді шешу 
нəтижесінде талдаушы түсіндіруге болатын деректерді сипаттайтын шаблондарды алады.
Бұл міндеттер талданған деректердің жалпы тұжырымдамасын сипаттайды, 
деректердің ақпараттық, қорытынды, ерекшеліктерін анықтайды. Сипаттамалық есептер 
тұжырымдамасы деректер жиынтығын сипаттау мен салыстыруды қамтиды. Деректер 
жиынтығының сипаттамасы кейбір деректер жиынтығының қысқаша жəне қысқаша 
сипаттамасын береді. Салыстыру екі немесе одан да көп деректер жиынтығының 
салыстырмалы сипаттамасын береді. 
Болжау (predictive) деректерді талдауға, модель құруға, жаңа 
немесе белгісіз деректердің трендтерін немесе қасиеттерін болжауға негізделген. Жоғарыда аталған 
жіктеуге жеткілікті жақын. Бұл Data Mining міндеттерін келесідей: зерттеу жəне ашу, болжау жəне 
жіктеу, түсіндіру жəне сипаттау бөлуге болады. Автоматты зерттеу жəне ашу (бос іздеу). Мысал: 
нарықтың жаңа сегменттерін анықтау.

51 
Осы есептер класын шешу үшін кластерлік талдау əдістері пайдаланылады. Болжау 
жəне жіктеу. Мысал: ағымдағы мəндерге негізделген сату көлемінің өсуін болжау. Əдістері: 
регрессия, нейрондық желілер, генетикалық Алгоритмдер, шешім ағаштары. Жіктеу жəне 
болжау міндеттері индуктивті модельдеу деп аталатын топты құрайды, нəтижесінде 
талданатын объектіні немесе жүйені зерттеу қамтамасыз етіледі. Осы мəселелерді шешу 
барысында деректер жиынтығы негізінде жалпы модель немесе гипотеза жасалады. 
Түсіндіру жəне сипаттау. Тапсырма мысалы: демографиялық деректер мен сатып алу тарихы 
бойынша клиенттердің сипаттамасы. Əдістері: ағаштарды шешу, ережелер жүйесі, 
Ассоциативті ережелері, байланыстарды талдау. Жалпыланған модельді түсіндіруде 
талдаушы жаңа білім алады. Объектілерді топтастыру олардың ұқсастықтары негізінде 
жүреді. Data Mining-тің басты құндылығы-бұл технологияның практикалық бағыты, шикі 
деректерден нақты білімге, мəселені шешуден дайын бағдарламаға апаратын жол, оның 
көмегімен шешім қабылдауға болады. 

жүктеу/скачать 3.3 Mb.

Достарыңызбен бөлісу: