Ы., Баймұсаева А. Б. Информатиканың теориялық негіздері
жүктеу/скачать 314.17 Kb.
|
| Санның q тереңдігі - ақпаратты өрнектеу үшін қабылданған таңбалар (элементтер) саны. Уақыттың әрбір мезетінде тек қандай да бір жалғыз таңба іске асырылады.
Санның n ұзындығы- берілген шама сандарын өрнектеу үшін қажетті және жеткілікті позициялар саны. Санның берілген тереңдігіндегі және ұзындығындағы сандар мөлшерін N=арқылы өрнектеуге болады. Ақпараттық сыйымдылықты бағалау үшін N шамасы қолайсыз. Ақпарат мөлшерін есептеуге мүмкіндік беретін логарифмдік өлшемді – битті - енгізейік: (1)
(2)
мұндағы, - k көзіндегі ақпарат мөлшері. Ақпараттың логарифмдік өлшемі ақпарат мөлшерін өлшеуге мүмкіндік береді және іс жүзінде қолданылады. Статистикалық өлшем. Ақпараттың статистикалық теориясында оқиғаның өзі емес, ол жайындағы ақпарат қарастырылатын ақпарат мөлшерінің жалпы өлшемі енгізіледі. Бұл мәселе К.Шеннонның «Ақпараттар теориясы бойынша таңдамалы еңбектер» атты жұмысында тереңінен қарастырылған. Егер пайда болу ықтималдығы бірге жақын жиі кездесетін оқиға жайында хабар пайда болса, онда қабылдаушы үшін мұндай хабарда ақпарат аз. Пайда болу ықтималдығы нөлге жақын оқиғалар жайындағы хабарларда да ақпарат аз.Оқиғаны мүмкін болатын қандай да бір тәжірибенің нәтижесі деп қарауға болады және осы тәжірибенің барлық нәтижелері ансамбль (жарасымдылық) немесе оқиғалардың толық тобын құрайды. К.Шеннон тәжірибе кезінде пайда болатын, жағдайы анықталмағандық ұғымын енгізіп, оны энтропия деп атады. Ансамбль энтропиясы бұл оның анықталмағандығының, демек тәжірибенің әрбір мүмкін нәтижесі ықтималдары жиынының орташа функциясы сияқты сан өрнектелетін ақпараттылығының сан өлшемі. Тәжірибенің мүмкін N нәтижесі бар болсын, оның ішінде k түрлі типтер болсын да, ал i- ші нәтиже ni рет қайталанып, мөлшері Ii сияқты бағаланатын ақпарат енгізілсін. Сонда, бір тәжірибемен жеткізілетін орташа ақпарат (3)
(4)
(5)
Бірақ ni/N қатынастары нәтиже қайталануы жиілігін береді, демек олардың ықтималымен алмастырылуы мүмкін: , сондықтан биттік орташа ақпарат немесе (6) Алынған шама энтропия деп аталады және әдетте H әрпімен белгіленеді. Энтропия келесі қасиеттерге ие: Әрқашанда теріс емес, себебі ықтималдар бірден артпайтын шамалармен, ал олардың логарифмдері теріс сандармен немесе нөлмен өрнектелетіндіктен, (6) қосындысының мүшелері теріс емес. pi мәндерінің біреуі бірге тең, ал қалғанының барлығы нөлге тең болған жағдайда энтропия нөлге тең болады. Бұл тәжірибе жайында немесе шама жайында алдын ала бәрі белгілі және нәтижесі жаңа ақпарат бермейтін жағдай. Барлық ықтималдары өзара тең болған кезде энтропия ең үлкен мәнді қабылдайды: Бұл жағдайда A және B қалыптарының бірге іске асырылуы негізінде құрылатын AB нысанының энтропияларының қосындысына тең, яғни H(AB)=H(A)+H(B) Егер барлық оқиғалар тең ықтималды және статистикалық тәуелсіз болса, онда Хартли мен Шеннон бойынша ақпарат мөлшері бірдей болады. Бұл жүйенің ақпараттық сыйымдылығының толық пайдаланылғандығын куәландырады. Тең емес ықтималдар жағдайында Шеннон бойынша ақпарат мөлшері жүйенің ақпараттық сыйымдылығынан кіші болады. Энтропия p=0,5 екі қалып тең ықтимал болған жағдайда ең үлкен мәнге ие болады. Ықтималдығы p=0 немесе p=1 болған оқиғаның толық мүмкін еместігі немесе толық шындығы жағдайында энтропия нөлге тең болады. Жағдайдың анықталмағандығы толығымен шешілген кезде ғана ақпарат мөлшері энтропияға тең болады. Жалпы жағдайда, тәжірибе немесе қандай да бір басқа таным актісі салдарынан энтропияның азаюын ақпарат мөлшері деп есептеу керек. Егер анықталмағандық толығымен алынып тасталса, онда ақпарат энтропияға тең болады: I=H. Толық шешілмеген жағдайда, бастапқы және соңғы энтропияның арасындағы айырым болып табылатын бірең-сараң ақпарат болады: . Ақпараттың ең үлкен мөлшері, анықталмағандық толығымен шешілген кезде, және осы анықталмағандық ең үлкен - барлық оқиғалардың ықтималдығы бірдей болғанда алынады. Бұл Хартли өлшемімен бағаланатын I1 сәйкес келеді:, мұндағы N- оқиғалар саны, p - оқиғалардың бірдей ықтималды жағдайында оларды іске асыру ықтималы. Сонымен, Ақпараттың абсолют молшылығы ақпараттың ең үлкен мүмкін мөлшері мен энтропия арасындағы айырымнан тұрады: немесе . Сондай-ақ салыстырмалы молшылық ұғымы да пайдаланылады (7)
Семантикалық өлшем. Есептеуіш машиналар әртүрлі мазмұндағы сандық мәліметтерден, ән және тақпақ жазуға дейінгі ақпаратты өңдеп түрлендіреді. Осы ақпараттың бәрі сәйкес таңбалармен бейнеленеді. Әртүрлі сипаттағы ақпараттың мазмұнын бағалау- өте күрделі мәселе.Семантикалық өлшем арасында ең көп таралғаны- ақпараттың мазмұндылығы, логикалық мөлшері, мақсаттылығы және маңыздылығы. i оқиғасының мазмұндылығы m(i) өлшем функциясы- оқиғаның терістеу мазмұндылығы арқылы өрнектеледі. Мазмұндылықты бағалау m(i) ақиқат және m(i) жалған логикалық функциялары, ықтималдар теориясындағы оқиға мен қарсы оқиғаның p(i), q(i) ықтимал функцияларына тұлғалық ұқсастығы бар математикалық логикаға негізделген. Ықтимал сияқты, оқиғаның мазмұндылығы да шекті өзгереді. Ақпараттың статистикалық мөлшеріне ұқсас ақпараттың логикалық мөлшері мына өрнек бойынша есептеледі: Статистикалық бағаның логикалықтан айырмашылығы, бірінші жағдайда, ақпарат мағынасының бағасына жақындататын қандай да бір оқиғаларды іске асыру ықтималдары ескеріледі. Егер ақпарат басқару жүйелерінде пайдаланылатын болса, онда оның пайдалылығын басқару нәтижесіне тигізетін әсері бойынша бағалаған жөн. Ақпараттың лайықтылық өлшемі қосымша ақпаратты алудағы мақсатқа жету ықтималының өзгеруі ретінде анықталады. Алынған ақпарат бос болуы, яғни мақсатқа жету ықтималын өзгертпеуі мүмкін және бұл жағдайда оның өлшемі нөлге тең болады. Басқа жағдайларда алынған ақпарат істің жайын нашарлатып жіберу, яғни мақсатқа жету ықтималын азайтуы мүмкін және онда ол ақпарат мөлшерінің теріс мәнімен өлшенетін жалған хабар болады. Ақыры, қолайлы жағдайда мақсатқа жету ықтималын арттырып, ақпарат мөлшері оң шамамен өлшенетін сапалы ақпарат алынады. Лайықтылық өлшемі жалпы түрде келесі қатынас түрінде аналитикалық өрнектелуі мүмкін (8)
Оқиғаның өзінің маңыздылығын айыра білу керек; оқиғаның болған немесе оны бақылау мезгілінің (ерте-кеш-мезет) маңыздылығы; оқиға болғандығы координатының маңыздылығы. Қандай да бір Х параметрінің өлшемін х шамасының бірнеше функцияларымен: p(x) ықтималымен, ԑ(x) өлшеу қателігімен және c(x) маңыздылығымен сипаттауға болады. Осы функциялардың әрқайсысына ақпараттың белгілі өлшемін сәйкес қоюға да болады. Хартли өлшемімен ықтимал (p=const) және маңыздылық (c=const) функцияларының тұрақты мәндерінде ԑ қателік функциясы бағаланады. Шеннон өлшемімен қателік (ԑ=const) және маңыздылық (c=const) функцияларының бекітілген мәндерінде (p=var) ықтималдық функциясы бағаланады. Маңыздылық өлшемі тұрақты қателік (ԑ=const) пен ықтимал (p=const) функциялары жағдайына жатады. Маңыздылық функциясын енгізуге болады: cx, х-тен тәуелді; cT,cN, T уақытынан және N кеңістігінен (арна) тәуелді. жүктеу/скачать 314.17 Kb. Достарыңызбен бөлісу:
|