Лекция тақырыбы: Үлкен деректердің компоненттері
жүктеу/скачать 0.62 Mb.
|
- Бұл бет үшін навигация:
- Лекция мазмұны: 2.1 Үлкен деректердің үш негізгі компоненті 2.2 Үлкен деректер мен дәстүрлі деректерді салыстыру
|
№2 Лекция тақырыбы: Үлкен деректердің компоненттері Лекцияның мақсаты мен міндеттері: Бұл курстың мақсаты - студенттерге үлкен деректердің негізгі компоненттерін үйрету, бұл үлкен деректер түсінігін түсіну үшін өте маңызды. Алдымен үлкен деректер 3V компонентімен белгілі болды, содан кейін бұл компоненттер дамытылды және 5 V -ға өзгертілді. Тағы да, 5V компоненті жеткіліксіз болды және басқа компоненттер осы компоненттерге қосылды. Барлық осы компоненттерді білу өте маңызды. Лекция мазмұны: 2.1 Үлкен деректердің үш негізгі компоненті 2.2 Үлкен деректер мен дәстүрлі деректерді салыстыру 2.3 Үлкен деректердің 5 V компоненті 2.4 Үлкен деректердің 7 V компоненті 2.1 Үлкен деректердің үш негізгі компоненті Үлкен деректер ұғымын түсіну үшін осы деректерді өңдеудің, түсіндірудің және пайдаланудың негізгі компоненттерін түсіндіру қажет. Гартнер 2012 жылы 3V түрінде көрсетілген бұл компоненттер; Деректердің көлемі (volume), жылдамдығы (velocity) және әртүрлілігі (variety) қарастырылады (1-сурет). Сурет 1. Үлкен деректердің үш негізгі компоненті 1.Деректер мөлшері-көлемі Көлем - бұл үлкен деректердің маңызды компоненттерінің бірі. Үлкен деректер жиынтығының көлемі жыл сайын экспоненциалды түрде ұлғайып жатыр және деректер жиынтығы петабайт және терабайт сияқты бірліктермен көрсетіле бастады. Зерттеу көрсеткендей, 2020 жылы алынатын деректердің көлемі 2009 жылы алынған деректер көлемінен 44 есе көп болады. Деректер әр секунд сайын онлайн режимінде, ғаламдық орналасқан жерді анықтау жүйесімен (GPS - Global Positioning System-GPS) жабдықталған смартфондар арқылы орналасқан жер туралы деректер, әлеуметтік желілермен өзара әрекеттесу немесе өмірдің әр саласында ақылды қосымшаларды қолдану арқылы жасалады. Бұл саналы іс-әрекеттің нәтижесінде алынған деректер базасына машиналар автоматты түрде шығаратын деректерді қосқанда тез өседі. Мысалға; Ақылды тұрмыстық техниканың бір-бірімен және интернет-провайдермен деректерді беруі үлкен көлемде деректерді шығару және бөлісуді білдіреді. Бүгінгі таңда әлемде қолданылатын көптеген ауылшаруашылық жерлер және өнеркәсіптік өндіріс нысандары деректерді жинауға және беруге арналған ақылды датчиктермен жабдықталған. Пилоттық қолданысы басталған жүргізушісіз автомобильдер таяу уақытта көшелерге шығып, нақты уақытты, төрт өлшемді карталарды жүзеге асырып, қайда жүрсе де шешім қабылдау арқылы мақсаттарына жетеді. Үнемі өсіп келе жатқан сенсорлық ақпарат, фотосуреттер, мәтіндер, аудио және видео деректер үлкен деректердің негізін құрайды. Деректердің өсіп келе жатқан көлемін өлшеу үшін 2017 жылы IDC (International Data Corporation) жариялаған «Деректер ғасыры 2025» деректері бойынша, 2005 жылы ғаламдық деңгейде 130 эксабайт деректер құрылды және сақталды. 2010 жылға қарай бұл мөлшер 1,227 эксабайтқа, ал 2015 жылы 7,910 эксабайтқа дейін өсті. Деректерді сақтау қондырғыларының физикалық аналогтары 1-кестеде көрсетілген. Үлкен деректерге арналған ең заманауи мысалдардың бірі - Еуропалық ядролық зерттеулер орталығының жүргізген Үлкен Хадрон Коллайдер (Large Hadron Collider1) эксперименті. Бұл зерттеуде секундына 40 терабайт дерек өндіріледі. Үлкен деректер тұжырымдамасының пайда болуы деректер көлемінің тез өсуіне байланысты. Технологияның қарқынды алға жылжуымен, 100 терабайт деректері 10 жыл бұрын қабылданған кезде, бүгінде деректер петабайтпен өлшенеді. Сарапшылар экзибайт және зетабайт мәндері өте қысқа уақыттан кейін айтылатындығына келісетіндіктерін айтады. Деректер өлшемімен салыстырғанда 1 зетабайт дегеніміз - бір триллион гигабайт немесе 1 миллиард терабайт. Көптеген дәстүрлі деректер транзакциялары деректерді өлшеу бірлігі болып табылатын гигабайттар және терабайттармен орындалады, алайда мұндай операциялар үлкен деректермен петабайттармен жүзеге асырылады. Әсіресе, әлеуметтік медианың біздің өміріміздегі орны өскен сайын, күнделікті өңделетін және өңделетін деректердің айтарлықтай өсуі байқалды. Facebook қолданушыларының саны әлем бойынша 1 миллиардтан асады. Facebook-та шамамен 650 миллион күнделікті белсенді қолданушылармен бөлісіледі, олардың орташа есеппен 2,5 миллиард күнделікті мазмұны, 2,7 миллиард клик және 500-ден астам ТБ (Терабайт) деректері жасалады. Көптеген зерттеушілер әлемдегі ақпарат көлемін өлшеу арқылы сандық ғаламның көлемін анықтауға тырысады. Бұл зерттеулердің ортақ пікірі - деректердің өсу қарқыны экспоненциалды, яғни экспоненциалды түрде жалғасады. Google компаниясының бас директоры Эрик Шмидт; Ол адамдар 2008 жылдан кейінгі екі күнде 2003 жылға дейін өндірілген жалпы деректерді жасап, бұл мөлшер шамамен 5 эксабайт деңгейіне сәйкес келетінін айтты. Сонымен қатар, ғылыми зерттеулерде алынған деректердің мөлшері де өте көп. CERN-дегі «Үлкен Хадрон Коллайдер» секундына 40 ТБ (Терабайт) деректерін шығарады. 2000 жылы ашылған «Слоан сандық аспан зерттеу бағдарламасы» (SDSS - The Sloan Digital Sky Survey2) Нью-Мексикода орнатылған телескоп арқылы бірнеше апта ішінде астрономия әлемі шығарған деректер жиынтығынан көп жинады. 2020 жылы ол жер бетінде 26 миллиард құрылғы болады деп күтілуде. Әрбір қолданушыда кемінде үш құрылғы болады деп есептелген. Осы құрылғылар мен датчиктердің көбеюі, олардың әрқайсысы Интернетке қосылғандығы және үнемі деректер шығаратындығы, «Интернет заттары» ұғымын тудырды. Дәлелдемелер өндірісінің көлемі алдағы кезеңде заттардың интернеті біздің өмірімізде көбірек орын ала бастаған кезде анағұрлым жоғары деңгейге дейін өседі деген болжам бар. жүктеу/скачать 0.62 Mb. Достарыңызбен бөлісу:
|