Информатиканың іргелі негіздері

Ақпараттар теориясында шартты энтропия түсінігі төмендегідей өзара байланысты анықтағанда қолданылады:

а) кодталатын алфавит символдарымен (бір қайнар көзбен тізбектеліп таңдалатын жағдай арасында);

ә) байланыс каналдарымен ақпаратты тасымалдағанда жоғалтуларды анықтау үшін;

б) біріктіру энтропиясын есептеу үшін.

Егер   – хабарлама көзінің еркін түрдегі жағдайы,   – адресаттың еркін түрдегі жағдайы болса, онда дербес шартты энтропия   қайнар көздің әрбір   -ші жағдайында шартты энтропиясын анықтайды және келесі формуламен есептелінеді:

Жалпы   шартты энтропия   хабарламасына қатысты   таратылатыны белгілі болса,   қабылдағыштағы ақпарат санын сипаттайды, (немесе,   ансамбльдің жағдайы белгілі болғанда,   ансамблінің бір жағдайына шаққанда орташа анықталмағандық).

Жалпы жағдайда егер біз   -ның   сигналдарын тасымалдап және   -ның   cигналдарын алуды күтетін болсақ, онда байланыс каналында кедергілердің әсері толығымен келесі түрдегі каналдық матрицамен баяндалады:

Диагональдар бойынша орналасқан ықтималдылықтар дұрыс, ал қалғандары – жалған қабылдауды анықтайды.

Каналдық матрицаның колонкаларын толтыратын цифрлардың мәні, әдетте негізгі диагональдан қашықтаған сайын кемиді және кедергінің болмаған жағдайында негізгі диогональда орналасқандардың барлығы, цифрдан басқаларының бәрі нөлге тең болады.

Бірігу энтропиясы және статистикалық тәуелді хабарламалардың бірге пайда болу энтропиясын есептеу үшін қолданылады.   хабарламасын жіберу ансамблі және   қабылдау ансамблі үшін біріктіру энтропиясы келесідей болады:

Тәуелсіз ансамбльдер болған жағдайда:

Біріктіру энтропиясы және шартты энтропия өзара келесідей қатынаспен байланысқан:

Біріктіру энтропиясы келесі түрдегі матрицаның көмегімен есептелуі мүмкін: