Элементтер арасында статикалық байланыс болған кездегі дискретті

Энтропия H
*
(x
i
) = log 1/( p(x
i
/x
j
)). x
i 
орташалап p(x
i
/x
j
) және x
j
есепке ала отырып p( 
x
j
) Марков сымының бірбайланысты орташа шама энтропиясын аламыз:
n 
n
H X ( ) 
p x x p x H x( 
i 
/ 
j 
) ( 
j 
) ( )
i 
i 1 j 1
n 
n 
. (*)
p x x p x( 
i 
/ 
j 
) ( 
j 
) log p x x( 
i 
/ 
j 
)
i 1 j 1
(*) ӛрнегін екі шекті жағдай үшін қарастырамыз.
x
i 
жіне x
j
бір-біріне тәуелді емес, яғни p(x
i
/x
j
) = p(x
i
) және
n 
n
H (X) 
p(x
i 
) log p(x
i 
)
p(x 
j 
) 
i 1 
j 1
n 
  
H(X), т.к. p(x 
j 
) 1.
j 1
x
i 
жәнеи x
j 
элементтері арасында толық функционалдық тәуелділік бар, яғни p(x
i
/x
j
) 
= 0 немесе 1 және онда H
*
(X) = 0.
Сол бейнеде 0 H
*
(X) H(X). (**)
Ізінше элементтер арасында статикалық байланыстың болуы хабарлама 
энтропиясын кемітеді, неғұрлым кӛп дәрежеде болса соғұрлым кӛрші элементтер 
статикалық байланыспен қамтылған.
Орыс тілінде хабарлама беруді мысал ретінде қарастырайық. Егер ё және  е , ь және 
ъ арасындағы айырмашылықты байқамасақ және арасында ашық жер болуы қажет болса 
32 символ болу керек. Максималды энтропия қандай? Символдар арасындағы тәуелділікті 
және тең ықтималдылық шартының энтропиясы орташа H
max
= lb 32 = 5 бит/символ.
Орыс тілінде символдардың пайда болуы тең ықтималды емес. Егер символдар 
арасындағы айырмашылықты ескерсек, онда H
1
 = 4,39 бит/символ.
Екі символдар арасындағы статикалық байланыс энтропиясының азаятынын
ескерсек
H
2
 = 3,52 бит/символ (Марковтың бір байланысты сымы),
Үш символдар арасында – шамаға дейін   
H
3
 = 3,05 бит/символ (Марковтың екі байланысты сымы),  
......................
сегіз символдар арасында –шамаға дейін   
H
8
= 2 бит/символ (Марковтың жеті байланысты сымы) және ары қарай ӛзгеріссіз 
қалады.
Қорытынды:
Хабарламаны тиімді кодттау үшін бір есепке энтропияны ӛсіру қажет:
Символдардың пайда болу ықтималдылығын теңестіру.
Элементтер арасындағы статикалық байланысты жою.
Артық хабарлама  

Егер хабарламада элементтер тең ықтималды және бір-біріне тәуелді болмаса, онда 
ондай хабарламалар оптималды бейнеде кодтталған. Мұндай хабарламаны беру үшін n
opt
элементін беру қажет болады. Егер хабарлама оптималды кодтталған болмаса, онда оны 
беру үшін n n
opt
символы қажет. Мұндай жағдайда артықтық туындайды, сандық 
сипаттамасы артықтық коэффициенті болып табылады: k
и
= (H
max
(X) - H(X))/ H
max
(X), 
мұндағы
H
max
(X) – оптималды кодттау кезіндегі энтропия;
H (X) – оптималды емес ккодттау кезіндегі энтропия.
Сондықтан, 0 k
и
1. Орыс тілі үшін k
и
= (5 - 2)/5 =0,6.

жүктеу/скачать 0.98 Mb.

Достарыңызбен бөлісу: