Информация, сигнал и его основные характеристики введение. Современные принципы управления тп
жүктеу/скачать 2.99 Mb.
|
| Рост объема информации. Энтропия
Следует отметить, что во время передачи информации одним из главных величин является повышение количества информации. Представим, что информация передается с датчика на приемник (рис. 1.3.). Рис. 1.3. Обмен информацией между датчиком и приемником При этом вероятность передачи информации от датчика равна P1, а вероятность получения ее приемником равна P2. При этом логарифм отношения этих вероятностей называют приростом количества информации и он выражается в следующем виде: В информационной технике информация от датчика принимается как вероятность передачи P1=1. В этом случае прирост количества информации будет определяться в нижеследующем виде: . Из теории информации известно, что должно выполняться условие: . С этой точки зрения . Например, Допустим, от датчика приемнику передается определенная информация. Это информация набор определенных событий. В соответствии с каждым событием передаются определенные символы. Например, При этом A, B, C - это события, a NA, NB, NC - это соответствующие им символы. В этом случае общее количество передаваемых символов будет определяться по следующей формуле: q = NA + NB + NC +... Прирост количества информации, соответствующий каждому событию определяется следующим образом: ΔIA = – logPA ΔIB = – logPB ΔIC = – logPC Применив принцип суперпозиции к приросту количества информации: В этом случае, прирост количества информации, падающий на каждый символ определяется следующим образом: Принимая во внимание, что , то прирост количества информации, падающий на каждый символ можно показать в следующем виде: . Эту величину называют энтропией. Таким образом, под энтропией понимается прирост количества информации, падающий на один символ. Энтропия зависит от вероятностей передачи и приема информации. При этом энтропия принимает максимальное значение, когда события равной вероятности (рис. 1.4). Рис. 1.4. Зависимость энтропии от вероятности события жүктеу/скачать 2.99 Mb. Достарыңызбен бөлісу:
|