Деректер қоймасы дегеніміз не?
жүктеу/скачать 2.01 Mb.
|
1 2
Деректер қоймасы|
Деректер қоймасы – әртүрлі көздерден алынған үлкен көлемдегі мәліметтерді біріктіретін және үйлестіретін сандық сақтау жүйесі. Ол іскерлік барлау, есеп беру және талдау үшін деректерді қамтамасыз етеді және нормативтік қолдауды қамтамасыз етеді. Бұл компанияларға өз деректерін құнды ақпаратқа айналдыруға және негізделген, деректерге негізделген шешімдер қабылдауға көмектеседі. Деректер қоймалары ағымдағы және тарихи деректерді бір жерде біріктіреді және ұйым үшін шындықтың жалғыз көзі ретінде әрекет етеді. Деректер деректер қоймасына операциялық жүйелерден (ERP және CRM сияқты), дерекқорлардан және серіктес жүйелер, IoT құрылғылары, ауа райы қолданбалары және әлеуметтік медиа сияқты сыртқы көздерден (әдетте белгілі бір уақыт аралығында) түседі. Бұлтты есептеулердің пайда болуы ландшафтты өзгертті. Соңғы жылдары сақтау жүйелері жергілікті шешімдерді, жеке бұлттарды және жалпыға ортақ бұлттарды қоса алғанда, дәстүрлі жергілікті инфрақұрылымға қосымша әртүрлі орындарда орналастырылды. Қазіргі деректер қоймалары бейне, кескін файлдары және сенсор деректері сияқты құрылымдалған және құрылымдалмаған деректерді өңдеуге арналған. Кейбіреулер нақты уақыт режимінде сенімді деректерге қол жеткізуді қамтамасыз ету және негізделген шешімдер қабылдау үшін енгізілген аналитика мен жадтағы дерекқор технологиясын пайдаланады (мұнда деректер жинағы дискіде емес, компьютер жадында сақталады). Деректер қоймасы болмаса, гетерогенді көздерден алынған деректерді біріктіру, аналитика үшін дұрыс пішімді қамтамасыз ету және уақыт өте келе деректердің өзекті және ұзақ мерзімді көрінісін алу өте қиын. Деректер қоймасы дегеніміз не? Деректер қоймасының артықшылықтары Жақсы жобаланған деректер қоймасы кез келген табысты іскерлік интеллект немесе аналитикалық бағдарламаның негізі болып табылады. Оның негізгі міндеті есептерді құруға және заманауи бизнес үшін таптырмас құралға айналған бақылау тақталары мен аналитикалық құралдардың жұмысын қамтамасыз ету болып табылады. Деректер қоймасы деректерге негізделген шешім қабылдау үшін ақпарат береді және жаңа өнімдерді әзірлеуден бастап түгендеу деңгейін анықтауға дейін дұрыс таңдау жасауға көмектеседі. Деректер қоймасы көптеген артықшылықтар береді. Мұнда олардың кейбіреулері бар: Бизнес-аналитиканың сапасын арттыру. Деректер қоймасының көмегімен шешім қабылдаушылар бірнеше көздерден алынған деректерге қол жеткізе алады және енді толық емес ақпарат негізінде шешім қабылдаудың қажеті жоқ. Сұрауды орындауды жылдамдату. Деректер қоймалары деректерді жылдам алу және талдау үшін арнайы жасалған. Сақтау арқылы АТ қызметкерлерін тартпай-ақ, шоғырландырылған деректердің үлкен көлемін өте жылдам сұрауға болады. Деректер сапасын жақсарту. Қоймаға жүктемес бұрын жүйе деректерді тазалау тапсырмаларын жасайды және оларды кейіннен өңдеу үшін жұмыс тізіміне енгізеді, жоғары сапалы және дәл деректер негізінде кейінгі талдау және шешім қабылдау үшін деректердің дәйекті пішімге түрленуін қамтамасыз етеді. Тарихи көзқарас. Қойма тарихи деректердің үлкен көлемін қамтиды және шешім қабылдаушыларға өткен үрдістер мен мәселелерді зерттеуге, болжамдар жасауға және бизнесті үздіксіз жақсартуға мүмкіндік береді. Деректер желісі туралы ақпаратты бақылауды көрсететін деректер қоймасының скриншоты. Деректер қоймасы нені қамтуы мүмкін? Деректер қоймалары алғаш рет сексенінші жылдардың соңында танымал болған кезде, олар адамдар, өнімдер және транзакциялар туралы ақпаратты сақтауға арналған. Бұл құрылымдық деректер деп аталатын қол жетімділік үшін ұқыпты ұйымдастырылған және пішімделген. Дегенмен, компаниялар көп ұзамай құжаттар, кескіндер, бейнелер, электрондық пошталар, әлеуметтік желілердегі жазбалар және жабдық сенсорларынан өңделмеген деректер сияқты құрылымсыз деректерді сақтауды, алуды және талдауды қалады. Заманауи деректер қоймасы құрылымдалған және құрылымдалмаған деректерді де орналастыра алады. Осы деректер түрлерін қосу және олардың арасындағы бөлшектенуді жою арқылы компаниялар ең құнды түсініктерді алу үшін толық және жан-жақты көрініске қол жеткізе алады. Негізгі терминдер Деректерді сақтау әлемінде түсінуге болатын көптеген терминдер бар. Міне, ең маңыздылары. Қосымша терминдер мен жиі қойылатын сұрақтар үшін біздің глоссарийді қараңыз. Мәліметтер қоймасы және мәліметтер базасы Мәліметтер қоры мен деректер қоймалары екеуі де деректерді сақтау жүйесі, бірақ олар әртүрлі мақсаттарға қызмет етеді. Мәліметтер қоры әдетте белгілі бір бизнес аймағы үшін деректерді сақтайды. Деректер қоймасы бүкіл бизнес үшін ағымдағы және тарихи деректерді сақтайды, сонымен қатар BI және аналитика деректерін қамтамасыз етеді. Деректер қоймалары ұйымның дерекқорларынан деректерді алу үшін дерекқор серверін пайдаланады және деректерді модельдеу, деректердің өмірлік циклін басқару, деректер көзін біріктіру және т.б. мүмкіндіктері бар. Деректер қоймасы және Деректер көлі/ Озеро данных Деректер қоймалары мен деректер көлдері үлкен деректерді сақтау үшін пайдаланылады, бірақ олар әртүрлі сақтау жүйелері болып табылады. Деректер қоймасы белгілі бір мақсат үшін пішімделген деректерді сақтайды, ал деректер көлі мақсаты әлі анықталмаған деректерді өңделмеген күйде сақтайды. Деректер қоймалары мен көлдер жиі бірін-бірі толықтырады. Мысалы, егер көлде сақталған бастапқы деректер бизнес сұрағына жауап беру үшін қажет болса, оларды талдау үшін деректер қоймасында шығаруға, тазалауға, түрлендіруге және пайдалануға болады. Деректердің көлемі, дерекқор өнімділігі және сақтау бағасы дұрыс сақтау шешімін таңдауда маңызды рөл атқарады. Деректер қоймасы мен деректер көлі арасындағы салыстыру диаграммасы. Деректер қоймасы және деректер марты Data mart – сату, маркетинг немесе қаржы сияқты бөлімдер немесе бизнес бағыттары үшін арнайы бөлінген деректер қоймасының бөлігі. Кейбір дүкендер арнайы операциялық мақсаттар үшін де жасалады. Деректер қоймасы бүкіл компания үшін орталық деректер «қоймасы» ретінде қызмет етсе, март тиісті деректерді таңдаулы пайдаланушылар тобына көрсетеді. Бұл деректерге қол жеткізуді жеңілдетеді, талдауды жылдамдатады және осы пайдаланушыларға өз деректерін басқаруға мүмкіндік береді. Бірнеше marts жиі бір деректер қоймасында орналастырылады. Data mart диаграммасы және ол қалай жұмыс істейді Деректер қоймасының негізгі компоненттері Әдеттегі деректер қоймасы төрт негізгі компоненттен тұрады: орталық дерекқор, ETL (шығару, түрлендіру, жүктеу) құралдары, метадеректер және қол жеткізу құралдары. Бұл компоненттердің барлығы нәтижелерді жылдам алуға және деректерді жылдам талдауға мүмкіндік беретін максималды жылдамдыққа арналған. Деректер қоймасының құрамдастарын көрсететін диаграмма Орталық мәліметтер базасы. Мәліметтер қоймасының негізі. Дәстүрлі түрде жергілікті немесе бұлтта жұмыс істейтін стандартты реляциялық дерекқорлар пайдаланылады. Бірақ үлкен деректердің пайда болуымен, нақты уақыттағы жоғары өнімділік қажеттілігімен және жад құнының күрт төмендеуімен жадтағы мәліметтер базасы тез танымал бола бастады. Деректерді біріктіру. Деректер бастапқы жүйелерден алынады және әртүрлі деректерді біріктіру әдістерін - мысалы, ETL (Extract, Transform, Load) және ELT, нақты уақыттағы деректерді репликациялау, пакеттік өңдеу, деректерді түрлендіру, сапаны қамтамасыз ету және деректерді байыту қызметтері. Метадеректер. Бұл сіздің деректеріңіз туралы деректер. Олар деректер қоймасындағы деректер жиынының көзін, пайдалану механизмін, мәндерін және басқа функцияларын анықтайды. Қолданыстағы деректерге мәтінмән қосатын бизнес метадеректері және деректерге қол жеткізу жолын сипаттайтын техникалық метадеректер, оның ішінде оның орны мен құрылымы бар. Деректер қоймасына кіру құралдары: Access құралдары пайдаланушыларға деректер қоймасындағы деректермен әрекеттесуге мүмкіндік береді. Қол жеткізу құралдарының мысалдарына сұрау және есеп беру құралдары, қолданбаларды әзірлеу құралдары, деректерді іздеу құралдары және OLAP құралдары жатады. Деректер қоймасының архитектурасы Бұрын деректер қоймалары іскерлік деректер ағынын бақылайтын қабаттарда жұмыс істеді. Мәліметтер қоймасының архитектуралық диаграммасы. Әдеттегі деректер қоймасы жоғарыда сипатталған үш түрлі деңгейді қамтиды. Бүгінгі таңда заманауи деректер қоймалары OLTP және OLAP-ты бір жүйеге біріктіреді OLTP (Online Transaction Processing) – транзакциялық жүйелерде нақты уақыттағы операцияларды өңдеуге бағытталған деректерді өңдеу түрі. OLTP негізгі мақсаты дерекқордағы жазбаларды қосу, өзгерту және жою сияқты күнделікті іскерлік операцияларды қолдау болып табылады. OLTP жүйелері көптеген қысқа транзакцияларды өңдеу үшін жоғары өнімділік пен тиімділікті қамтамасыз етеді. OLAP (Online Analytical Processing) – көпөлшемді талдау жүргізу мақсатында деректерді аналитикалық өңдеу және біріктіру үшін қолданылатын деректерді өңдеу технологиясы. OLAP пайдаланушыларға деректерді бірнеше көзқарастардан зерттеуге және талдауға және стратегиялық шешімдер қабылдау үшін күрделі аналитикалық сұрауларды орындауға мүмкіндік береді. Деректер қабаты. Деректер көздерден алынады, содан кейін ETL құралдары арқылы түрлендіріледі және төменге жүктеледі. Төменгі қабатқа дерекқор сервері, деректер маркерлері және деректер көлдері кіреді. Бұл деңгейде метадеректер жасалады; Деректерді виртуализациялау сияқты деректерді біріктіру құралдары деректерді үздіксіз біріктіру және біріктіру үшін пайдаланылады. Семантикалық қабат. Орташа деңгейде онлайн аналитикалық өңдеу (OLAP) және транзакцияны онлайн өңдеу (OLTP) серверлері күрделі сұрауларды жылдам орындау және аналитикалық құралдарды қолдану үшін деректерді қайта құрылымдайды. Аналитикалық деңгей. Жоғарғы деңгей – фронтенд серверінің клиенттерінің деңгейі. Онда пайдаланушыларға деректермен жұмыс істеуге, бақылау тақталары мен есептерді жасауға, KPI көрсеткіштерін қадағалауға, деректерді өңдеуге және талдауға, қолданбаларды жасауға және т.б. мүмкіндік беретін деректер қоймасына кіру құралдары бар. Бұл қабат көбінесе деректерді зерттеуге және жаңа деректер үлгілерін әзірлеуге арналған құралдарды немесе құм жәшіктерді қамтиды. Деректер қоймалары шешім қабылдауды қолдауға арналған және оларды АТ мамандары жасап, жүргізді. Дегенмен, соңғы бірнеше жылда олар деректерге қол жеткізу және құнды түсініктерді алу үшін АТ қызметкерлеріне тәуелділігін азайту арқылы бизнес пайдаланушылардың мүмкіндіктерін кеңейту үшін дамыды. Мұнда іскери пайдаланушылардың мүмкіндіктерін арттырған бірнеше негізгі деректер қоймасының мүмкіндіктері берілген: Табиғи тілдегі фразаларды қолдайтын және деректерді лезде түсінуге, деректер үлгісіндегі элементтер арасындағы қарым-қатынастарды анықтауға және деректер өрістерін жаңа іскери ақпаратпен байытуға мүмкіндік беретін семантикалық немесе іскери деңгей. Виртуалды жұмыс кеңістігі командаларға деректер үлгілері мен байланыстарды бір қауіпсіз және басқарылатын орынға жылжытуға мүмкіндік береді, бұл бір ортақ кеңістік және ортақ деректер жинағы арқылы әріптестермен тиімдірек ынтымақтастықты қамтамасыз етеді. Бұлттық технология шешім қабылдау процесін одан әрі оңтайландырып, жұмысшыларға деректерді талдау тапсырмаларын оңай орындауға арналған құралдар мен мүмкіндіктердің бай жиынтығымен жаһандық мүмкіндік берді. Олар АТ мамандарын тартпай-ақ жаңа қолданбалар мен деректер көздерін қоса алады. жүктеу/скачать 2.01 Mb. Достарыңызбен бөлісу:
|
1 2