Бұл жағдайда алынған ақпарат саны Нpr (априорды) тәжірибеге дейін және Нps (апостериорды) тәжірибеден кейін өлшем анықсыздығының айырымы теңестіріледі

I = Нpr – Нps (1)

1.1-сурет. Анықсыздық және ақпарат

Мысалы, ойын сүйектерінің екі лақтырылуының нәтижесі, 6² = 36 болуы мүмкін.

Н функциясын тәжірибе (мысалы, ойын сүйектерін үш рет лақтырған кезде анықсыздық бір рет лақтырғанға қарағанда үш есе көп) санына пропорционалды болатындай беру өте ыңғайлы. Мұндай құрам аддитивті деп аталады. Оған логарифмдік функция жауап береді

(2.2)

l =1 кезінде (ақпаратты беретін бір құбылыс немесе бір символ) мынаны аламыз

(2.3) формулада т мәніне өлшемнің әртүрлі бірліктері сәйкес келеді. Мысалы, т=е (натуралды логарифм) болғанда энтропия мен ақпарат «натта», m=1 болғанда - "дитте", т=2 болғанда – битте өлшенеді.

(2.2) және (2.3) формулалар әртүрлі мәндердің теңсіздігінен шығады. Бұл жағдайда әрбір n бастапқы мәнінің р ықтималдығы бірдей.

Ойын сүйектерін немесе монеталарды лақтыру жағдайында бастапқы мәннің тең ықтималдылығы туралы ұсыныс дұрыс. Бірақ жалпы жағдайда n мүмкін бастапқы мәндер үшін p_i ықтималдығы әртүрлі. (2.2), (2.3) формулалар жеке (бірақ маңызды) жағдайға сәйкес, p_i барлық ықтималдығы және анықсыздығы максималды болғанда.

Бұл жағдайда (2.2) формула n бастапқы мәнімен L тәжірибе нәтижесінде алынған ақпараттың максималды мәнін сипаттайды (немесе n көлемді алфавиттен L символ ұзындығымен хабартар түскен кезде).

(2.2) - (2.3) формулалар ғалым Хартлимен ұсынылған және “харттілі” ақпарат санының өлшемі деп аталады. L мен n мәндері хабартың құрылымын (оның габаритін) анықтайтындықтан, сондай-ақ басқа термин: ақпараттың құрылымдық өлшемі пайдаланылады. Тәжірибеден кейін (хабартың символын алған кезде) анықсыздық жоқ болса, I = H ақпарат санын және (2.3) формуласын мына түрде жазуға болады

(2.4)

Үзіліссіз және дискретті байланыс арналарының модельдері

Ақпарат санының статистикалық өлшемі – энтропия

Хартлимен ұсынылған ақпараттың санын анықтауға арналған (2.4) формуласы n бастапқы мәнімен құбылысқа сәйкес келетін жағдайды сипаттайды (мысалы, n көлемді алфавиттен хабар символының келіп түсуі). Бірақ барлық бастапқы мән тең (тең ықтималды) болып есептеледі. Бұл жағдайда олардың әрбіреуінің ықтималдығы және (2.4) мына түрде жазуға болады

(2.5)

pi символ ықтималдылығының әртүрлі мәнінің жағдайын қарастырайық. Бұл жағдайда әрбір символ беретін ақпараттың саны мен анықсыздығы алфавиттің әртүрлі символдары үшін әр қилы.

2.6 формуласынан ақпарат саны екіні көрініп тұр.

Бір құбылыстың (немесе хабар символының) орташа ақпараттылығын бағалау маңызды. Ықтималдыққа сәйкестігі есебінен Hi мәнін орташалай отырып, келесі формуланы аламыз

(2.7)

Бұл өлшемді энтропия деп атайды. Энтропия келесі құрамдардан тұрады:

• 
  Ол теріс емес;
  
• 
  () бастапқы мәндердің біркелкі ықтималдылығы кезінде максимумға жетеді. Бұл жағдайда
  
• 
  Ол минималды және и кезде нөлге тең.
  

Осы кезде апостериорды (тәжірибеден кейін) анықсыздық жоқ деп есептеледі, ал статистикалық байланыстар есептелмейді. Бұл Шеннонмен ұсынып, дамытылды. Энтропияны ақпараттың статистикалық өлшемі деп те атайды.

(2.8) формуласы бойынша символдардың ақпараттылығын бағалау шартсыз ықтималдылыққа негізделген. Сәйкесінше, Н⁽¹⁾ энтропияны шартсыз деп атайды. Хабартардағы көрші символдар көбінесе бір-біріне тәуелді болатыны анық. Мысалы, орыс тіліндегі мәтінде дауысты әріптің пайда болуы ықтималдығы ұлғаяды, егер алдыңғысы дауыссыз болса және егер оның алдында екі дауыссыз әріптер қатарынан тұрса, ықтималдық одан да жоғары болады. Бұл жағдайда энтропия өлшемі келесі формула бойынша есептеледі:

I = (2.9)

Үзіліссіз және дискретті байланыс арналарының өту қабілеті

Қоршаған орта туралы жүйені көрсету кезіндегі ақпараттың анықтамасына тоқталайық. Мұндай ақпараттың санын келесі жалпы формула бойынша анықтауға болады

мұнда Н_х – орта параметрлерінің әртүрлілілігін сипаттайтын анықсыздық;

Н_х/у – орта туралы жүйені көрсетудің толық еместігін және нақты еместілігін сипаттайтын анықсыздық өлшемі (Н_х/у =0 шегінде жүйе орта туралы бәрін білетінін білдіреді).

Адаптивті жүйелер үшін (техникада және тірі табиғатта) ақпараттың максимумдылық принципі әрекет етеді.

Дискретті арна және оның өткізгіштік мүмкіндігінің Шеннондық моделі

4.1-суретте Клод Шеннонмен ұсынылған ақпаратты тасымалдаудың дискретті арнасының моделі көрсетілген.

Кд – кодер, {x₁…x_m} m символдардан тұратын X арнасының алфавитінде Z бастауының алфавитін түрлендіреді. Арна символының орташа ақпараттылығы H_x (бит/символ) энтропиясымен, ал бір символдың берілу уақыты– t_x (с/символ) сипатталады.

Декодер (Дк) (П) приемнигі үшін арна символын кодтаудан алып тастайды (раскодирует).

Кн арнасында p₀ ықтималдылығымен арнада қателік туындауы мүмкін, x_i символының шығысында y_i (жалпы жағдайда ) символы сәйкес келеді. Біз кең таралған екілік исмметриялық арнаны (m = 2, p₀ = p_1/0 = p_0/1) қарастырамыз. Мұндай нұсқада H_y = H_x, өйткені қателер «1» мен «0» ықтималдығының қатынасын өзгертпейді.

Арнаның бір символымен тасымалданатын I_xy ақпаратының орташа санын (4.1) формуласы бойынша анықтауға болады

мұнда H_x/y – шартты энтропия, егер y_i қабылданса, x_i қабылданған символдың анықсыздығын сипаттайды. 4.1. формуласының әртүрлі нұсқаларын пайдалана отырып, әртүрлі ракурстарда (көздері немесе приемник жағынан) арнаны қарастырамыз, мұнда арнамен енгізілетін анықсыздық бірдей (H_x/y = H_y/x) болып қалады.

Дәріс №10. Өзін-өзі тексеру сұрақтары немесе тесттер

1. 
   Ақпаратты өлшеу
   
2. 
   Байланыс арналары
   
3. 
   Байланыс арналарының өту қабілеті
   

• 
  Ақпараттан айырылу бағасы.
  
• 
  Ақпараттың артықтығы туралы түсінік.
  

Арнаның маңызды сипаттамасы болып оның С өткізгіштік мүмкіндігі табылады. Арна уақыт бірлігінде (бит/с) ақпараттың максималды санын өткізуін анықтайды. Формула түрінде бұл анықтаманы келесі түрде жазуға болады

Екілік симметриялы арна үшін, мұндағы max{H_x} = 1, а H_y/x p₀ қателік ықтималдығын ғана анықтайды

Енді H_x/y және p₀^* арасындағы тәуелділікті анықтайық. m = 2 және p_1/0 = p_0/1 = p₀ болғандағы жағдай үшін шартты энтропияның формуласын пайдалана отырып, келесіні аламыз

C(p₀) тәуелділігін 4.2-сурет көрсетеді.

Арнаның өткізгіштік мүмкіндігінің максималды мәні p₀ = 0 болғанда және p₀ = 1 болғанда жетеді. C = 0 максималды мәні p₀ = 0.5 болған кезде орын алады.
Ақпараттың артықтығы туралы түсінік

Үзіліссіз арна аналогты сигналдарды (мысал ретінде телефон арнасын алуға болады) тасымалдау үшін пайдаланылады. Осындай арналардың өткізгіштік мүмкіндігін анықтай отырып, квантасы мен уақыт бойынша дискретінің азаюы кезінде дискреттің шегі ретінде үзіліссіз сигналды қарастырамыз.

Арналар сигналдың өту жолының енімен сипатталады.

Найквист-Котельников теоремасына сәйкес спектрінің енімен (мұндай ен біздің жағдайымызда максималды болады) үзіліссіз сигналды көрсету үшін қадамының өлшемі жеткілікті.

Үзіліссіз арнаның өткізгіштік өлшемі мына түрде жазылады



ескере отырып, және болған кезде бөгет болмағанда бұл өлшем, онымен бірге арнаның өткізгіштік мүмкіндігі шексіздікке ұмтылады. азаюымен бөгет өсуімен ғана емес, сонымен қатар ұлғаюымен де бірге жүреді (өйткені сигналды тану қатесінің ықтималдығы өседі). Бұл жағдайда арнаның өткізгіштік мүмкіндігі (P_x) сигналы мен (P_e) бөгетінің қатынасымен анықталады. Бұл жағдайда

(6) формуладан бірнеше қорытынды жасауға болады.

Біріншіден, «сигнал/бөгет» қатынасының өсуі арнаның өткізгіштік мүмкіндігін жоғарлатуға мүмкіндік береді. Бір сигнал ақпараттың бірнеше битін берген кезде m алфавиті көлемінің ұлғаяына сәйкес болуы мүмкін.

Екіншіден, алынған ақпараттыболған жағдайда да арна бойынша тасымалдауға болады.

Ақпараттар тобы ақпараттың орташа саны ретінде анықталады, оны көздері уақыт бірлігіне (бит/с) өндіреді. t_z бір символын өңдеудің орташа ұзақтығын және оның H_z орташа ақпараттылығын біле отырып, топ (поток) өлшемін былайша есептеуге болады:



тобының өлшемі С арнасының өткізгіштік мүмкіндігімен келісу керек. Демек, бір жағынан ақпараттың барлық өңделетін көздерісы тасымалдануға үлгеріп отырса, ал екінші жағынан – арнаның мүмкіндіктері толықтай пайдаланылып отырса болды. Өйткені өлшемі көздері ерекшеліктерімен анықталады және t_z өлшемінің берілген жалғыз құралы болып табылады.

Дәріс №11. Өзін-өзі тексеру сұрақтары немесе тесттер

1. 
   Ақпараттан айырылу
   
2. 
   Ақпараттың артықтығы
   

• 
  Модуляция және демодуляция процедураларының мазмұны мен міндеті.
  

Жалпы түрде модуляция деп бір сигнал параметрлерінің басқа сигналдың – ақпараттық параметрлерімен сәйкес өзгеруін айтады. Модуляция байланыс арналарында сигналдарды бөлу немесе сигналдардың бөгетке қарсы тұруын жоғарлату есептерін шешуге мүмкіндік береді.

9.1-суретте беретін сигнал сондай-ақ гармоникалық сигналдың амплитудасы бойынша модуляция нәтижесі көрсетілген. қатынасы модуляция коэффициенті деген атауға ие. осыдан екендігі белгілі болады.

Берілен сигналдың аналитикалық мағынасы мынадай болады

Түрлендірулерден кейін мынаны аламыз

Осыдан модуляцияланған сигнал спектрі берілген жағдайда _{жиілігімен берілетін} үш құрамасы болады.

Бұл нәтиже дербес модуляцияланатын сигналдың кез келген жиілік құрамасына таралатын болғандықтан қиын формадағы периодтық сигналмен модульденетін грамоника спектрінінің сапалы түрін (9.2б-сурет), ал диапазонында спектрмен дербес форманың периодтық сигналын (9.2в-сурет)анықтауға болады.

9.2-суретте маңызды нәтиже шығады: модульдеу көмегімен модульденетін сигналдың спектрін жиілік диапазонының кез келген қажетті облысына тасымалдауға болады.

Дәріс №12. Өзін-өзі тексеру сұрақтары немесе тесттер

1. 
   Модуляция
   
2. 
   Модуляция түрлері
   
3. 
   Модуляция және демодуляция процедураларының мазмұны мен міндеті
   

• 
  Модуляциялау түрлерінің сыртқы әсерге тұрақтылығы бойынша салыстырма мінездемелері.
  

Өзгеретін параметр ретінде амплитудамен бірге сондай-ақ жиілік пен фазаны (ЧМ және ФМ)пайдалануға болады.

Тағы бір кең таралған нұсқа – импультың реттелген модуляциясы. Модульденетін сигнал амплитудасына пропорционалды амплитудалы-импульстік модуляция (АИМ), жиілік-испульстік (ЖИМ), фазалы-испульстік (ФИМ) және кең-импульстік (КИМ) модуляция кезінде сигналды беретін параметрлер атауына сәйкес өзгереді. Ерекше бір бесінші түрі – импульсті-кодтық модуляция (ИКМ). Сигналды кванттаудан кейін оның әрбір дискретті мәніне сәйкесінше код қойылады, содан кейін дискреттеу қадамында байланыс арнасы бойынша жіберіледі. ИКМ әдісі кең қолданылады, көбінесе телефонияда. Дискреттеу жиілігі сәйкес келуі керек, ал сигнал амплитудасы бір байтпен кодталады. Дискретті телефон каналы бойынша беру жиілігі 64 кГц құрайды.

Енді 9.6-суреттегі сигналдардың фазалық диаграммасын қарастырайық.

n сигнал санының өсуі оның ақпараттануының ұлғаюына әкеледі (сигнал9.6а-суретте ақпараттың 2 битын, ал 9.6б-суретте – үш битын береді). Осымен қатар бөгетке қарсылықты сипаттайтын шеңбер радиусы азаяды. Сигнал амплитудасының ұлғаюы есебінен бөгетке қарсы тұрудың қарапайым мүмкіндігі шектілікке әкеледі, мысалы телефон арналарында сигнал күштілігі (амплитуда да) «көрші» арналарға әсер етуіне қарай шектелген.

Қазіргі әдістер АФМ көмегімен мың торабы бар сигналдар мәнінің «решеткасын» құруға мүмкіндік береді, осыған сәйкес сигналдың берілу жылдамдығын бірнеше ұлғайта отырып.
Дәріс №13. Өзін-өзі тексеру сұрақтары немесе тесттер

1. 
   Сигнал мен арнаның ақпараттық сипаттамасы
   
2. 
   Байланыс арнасы мен хабар көздерінің статистикалық қасиеттерін келістіру.
   
3. 
   Деректерді беретін торап
   

• 
  Кодтау теориясының жалпы түсініктері.
  
• 
  Кодтаудың негізі болып қаланған Шеннонның теоремалары.
  

Ақпаратты кодтау – ақпараттың көрсетілуін жинақтайтын процесс.

"Кодтау" терминін көбінесе ақпаратты көрсетудің бір формасынан екіншісіне, сақтауға, беруге немесе өңдеуге ыңғайлы көшуі түсіндіріледі.

Код – элементтер сәйкестігі мен сигналдар арасындағы бірмәнді сәйкестікті жүйе түрінде оны сақтау, беру және өңдеу кезіндегі ақпаратты көрсетудің әмбебап әдісі.

Қандайда бір абстрактілі алфавиттің символдарын А{а1, а2,... аm1} деп белгілейміз және бастапқы алфавит (первичный) деп атаймыз. Демек, бастапқы алфавит – бұл бастапқы, кодталатын алфавит. Абстрактіні афлавит деп атайық, оның символында нақты мәні жатқан жоқ. Абстрактілі бастапқы алфавиттің сапалық белгілерінің санын m1 деп белгілейік.

Кеңістікте және уақытта бастапқы алфавит символдарының орнын ауыстыруына арналған қажетті физикалық құрамы бар әртүрлі сапалық белгілер жиынтығын B{b1, b2,...bm2} деп белгілейік және екінші алфавит (вторичный) деп атайық. Демек, екінші алфавит – бұл бірінші алфавит ол өңделетін немесе орнын ауыстыратын формаға символдар көмегімен түрленетін алфавит. Екінші алфавиттің сапалық белгілерінің санын m2 деп белгілейік.

Барлық жағдайда m1 > m2 болған кезде кодтау процесі қажет. m1 m2-нің бүтін дәрежесі болып табылатын теңөлшемді кодтар үшін , m1 мен m2 арасындағы қатынас мына түрде болады:

m1 = m2n,

мұнда n – екінші алфавиттегі кодтар комбинациясының ұзындығы.

Жалпы жағдайда екінші алфавитті құрайтын m2 сапалық белгілердің бірмәнді ерекшеленетін символдар санын код негізі ерекшелейді. Демек, морзе кодында екінші алфавитті тире, нүкте, пауза құрайды, негізі – үш, Морзе кодының өзі үштік кодтқа жатады.

Бір алфавит m1 символдарының m2 алфавитінен құрастырылған кодтық комбинацияға түрлену заңдылығы жалпы жағдайда m1 <= m2 n түрінде көрсетілуі мүмкін.

Код берілген заңдылық бойынша құрылған екінші алфавиттің символдарының барлық мүмкін комбинациялар жиынтығын көрсетеді.

Берілген кодта жататын символдар комбинациясы кодтық сөздер деп аталады.

Әрбір нақты жағдайда барлық немесе берілген кодқа жататын кодтық сөздердің бөлігі пайдаланылуы мүмкін. Сонымен қатар барлық комбинацияларын көрсетуге мүмкін емес «күшті кодтар» бар. Сондықтан «код» сөзінде түрлендіру жүргізілетін барлық заңдылықтар жатыр, оның нәтижесінде кодтық сөздер аламыз.

Екінші алфавит символдары хабарды тасымалдағыштар болып табылады. Хабар алфавит сипаттайтын нақты физикалық немесе мәнді мазмұнына қатыссыз бірінші алфавиттің әрпі болып табылады.

Екінші алфавит символдарына хабар жіберу қажеттілігі туындаған жағдайда нақты физикалық сапалық белгілер сәйкестігі қойылады. Кодталған хабарға оны сигналға айналдыру мақсатында әсер ету процесі модуляция деп аталады. Сигналдар кеңістікте және уақытта ақпаратты тасымалдағыштар қызметін атқарады.

Компьютер сандық формада көрсетілген ақпаратты ғана өңдей алады. Компьютерде өңделуге арналған басқа барлық ақпараттар (мысалы, дыбыстар, суреттер, құралдарды көрсету және т.с.с.)сандық формаға түрлендірілуі керек. Мысалы, музыкалық дыбысты сандық формаға келтіру үшін сандық формада әрбір өлшем нәтижесін қоя отырып, қандайда бір жиілікте дыбыстың интенсивтілігін қысқа уақыт аралығында өлшеуге болады. Компьютерлерге арналған программалар көмегімен алынған ақпаратты түрлендіруге болады.

Компьютерде осындай түрде мәтіндік ақпараттарды да өңдеуге болады. Компьютерге енгізу кезінде әрбір әріп қандайда бір санмен кодталады, ал адамға түсінікті болу үшін сыртқы құрылғыларға (экран немесе печать) шығару кезінде осы сандар бойынша әріптердің көрінісі құрылады. Әріптер мен сандар жиынтығының арасындағы сәйкестік символдарды кодтау деп аталады.

Компьютердегі барлық сандар нолдер мен бірліктер көмегімен көрсетіледі. Басқа сөзбен айтқанда, компьютерлер көбінесе екілік санау жүйесінде жұмыс істейді, сондықтан оларды өңдеуге арналған құрылғылар өте қарапайым болады. Компьютерге сандарды енгізу мен адамның оқуы үшін оларды шығару ондық формада жүзеге асады, ал барлық қажетті түрлендірулер компьютерде жұмыс істейтін программалар орындайды.

Бөгетсіз арналарға арналған кодтау туралы Шеннонның негізгі теоремасы.

Бөгетсіз дискретті арна бойынша хабарларды беру үшін оны тиімді кодтау Шеннон теоремасына негізделеді, оны былайшы түрлендіруге болады:

1. хабар көзінің кез келген өндірісі, арнаның аз өткізгіштік мүмкіндігі кезінде, яғни мына шарт кезінде

I(Z)=Cd-e,

мұнда е – аз оң өлшем, көздермен өңделетін барлық хабарларды арна бойынша беруге мүмкіндік беретін кодтау әдісі бар.

2. егер

хабардың шексіз жиналуынсыз, оны жіберуді қамтамасыз ететін кодтау әдісі жоқ.

Шеннон теоремасы, бөгет болған кезде тежеуге әкелетін байланыс арнасы бойынша сигналдарды беру туралы ақпарат теориясының негізгі теоремаларының бірі.

Қандайда бір ықтималдықпен пайда болатын символдар ретін беру керек болсын, сондай-ақ процесте берілетін символ тежелген деген қандайда бір ықтималдық бар болсын. бастапқы реттілікті қайта қалпына келтіруге мүмкіндік беретін қарапайым әдіс әрбір берілетін символ үлкен сандарды (N) рет қайталауынан тұрады. Бірақ бұл берілу жылдамдығын N рет азайтуға әкеледі, яғни оны нөлге жақындатады. Шеннон теоремасы v оң санының қарастырылатын ықтималдыққа ғана тәуелділігін e>0 болғанда v' (v' < v) жылдамдығымен берілу әдісі бар, е-ден аз қателіктің ықтималдылығымен бастапқы реттілікті қалпына келтіру мүмкіндігін беретіндігін қарастырды.