Лекция тақырыбы: Үлкен деректердің компоненттері
жүктеу/скачать 0.62 Mb.
|
| 3.Деректердің әртүрлілігі
Үлкен деректер жиынтығы мобильді құрылғылар, интегралды схемалар, әлеуметтік медиа ресурстары және сенсорлар сияқты көптеген әртүрлі көздерден алынады. Бұл көздерден алынған деректер әлеуметтік желінің хабарламалары, жаңартулары мен суреттері; датчиктердің деректері, ұзақтығы, жұмсалған калориялар; Ұялы телефондардың және басқа құрылғылардың GPS сигналдары; Бұл Интернеттегі сатып алу және тұтыну қалауы және ақылды ғимараттардан, қоғамдық көліктерден немесе бейнекамералардан жиналған деректер сияқты әр түрлі форматтарда қол жетімді, олар пассивті күйде де деректерді шығарады. Аталған деректер құрылымды, құрылымданбаған немесе жартылай құрылымдалған көптеген типтер мен нысандарда ағып келеді. Бұл деректер типтері әр түрлі тілдерде және әр түрлі таңбалық кодтарда болуы мүмкін екенін ескере отырып, оларды біріктіру және оларды бір-бірінің форматына түрлендіру қажеттілігі туындайды. Құрылымдалмаған деректердің саны, әсіресе интернет-технологияның таралуымен тез өсуде. Цифрлық ғаламда құрылымданбаған деректердің жылдамдығы 90 пайыздан асады делінген. Дәстүрлі аналитикалық платформалар бір уақытта әртүрлі деректерге төтеп бере алмады, ал дәстүрлі деректер базалары деректерді әртүрлі форматта сақтай алмады (2-кесте). Сондықтан, үлкен деректер технологияларынан бұрынғы кезде құрылымданбаған деректер еленбеді немесе өте төмен тиімділікпен пайдаланылған еді. Бүгінгі таңда NoSQL құрылымын қолдана отырып жасалған деректер қорындағы құрылымдалмаған деректерді деректерді өңдеу әдістері және Hadoop және MapReduce сияқты жаңа әдістермен басқаруға, өңдеуге және талдауға болады. Деректердің әртүрлілігі үлкен деректер құрылымындағы айырмашылықтардың өлшемі ретінде қарастырылады. Деректерді құрылымдалған немесе құрылымданбаған форматта, сондай-ақ мәтін, бейне, дыбыс және сан сияқты әртүрлі нысандарда табуға болады. Үлкен деректердің әр түрлі форматтағы үйлесімі талдауда қиындық тудырады. Интернеттің біздің өмірімізге енуімен құрылымданбаған деректердің саны тез өсуде. Цифрлық ғаламда құрылымданбаған деректер жылдамдығы 90% -дан асады делінген. Үлкен деректердің бір ерекшелігі - бұл әртүрлі құрылымдардың біріктірілген және қосылған күйлерін ұстап тұруы. Мысал ретінде; Әр түрлі форматтағы деректердің, соның ішінде фотосуреттердің, бейнелердің, сілтемелер мен басқа веб-сайттардың түсініктемелерінің қатар өмір сүруі қамтамасыз етілуі мүмкін. Әр түрлі форматтағы деректердің үйлесуі дәстүрлі аналитикалық әдістерді талдауға жол бермейді. Алайда, дәстүрлі деректер базасы әртүрлі форматтағы деректерді сақтау үшін жеткіліксіз. Кәсіпорындар үлкен деректердің алуан түрлілігінен туындайтын құнды анықтау үшін жаңа талдау әдістеріне қаражат салуды және бәсекеге түсуді мақсат етеді. Деректерді өңдеу жүйелері, аналитикалық жүйелер деректердің бір түрін талдауға қызығушылық танытты, әлеуметтік желілердегі пікірлер, блогтар, медициналық нәтижелер, фотосуреттер, бейнелер және т.б. талдануда. Әр түрлі нысандағы деректерді цифрландыруға болады. Бұл болашақта кең ауқымды мазмұнды, соның ішінде жаңа деректер түрлерін талдауды қажет етеді. Әртүрліліктің ұлғаюы бұл ақпаратты басқаруды қиындатса да, болашақта бұл проблемаларды жою үшін жаңа технологиялық инвестициялар салынады деп саналады. жүктеу/скачать 0.62 Mb. Достарыңызбен бөлісу:
|