ГЛАВА2. УРОК 1.Содержательный подход к измерению информации

Получение новой информации приводит к расширению знаний. Если некоторое сообщение приводит к уменьшению неопределенности нашего знания, то можно говорить, что такое сообщение содержит информацию.

Отсюда следует вывод, что сообщение информативно (т.е. содержит ненулевую информацию), если оно пополняет знания человека. Например, прогноз погоды на завтра — информативное сообщение, а сообщение о вчерашней погоде неинформативно, т.к. нам это уже известно.

Нетрудно понять, что информативность одного и того же сообщения может быть разной для разных людей. Например: «2x2=4» информативно для первоклассника, изучающего таблицу умножения, и неинформативно для старшеклассника.

Но для того чтобы сообщение было информативно оно должно еще быть понятно. Быть понятным, значит быть логически связанным с предыдущими знаниями человека. Определение «значение определенного интеграла равно разности значений первообразной подынтегральной функции на верхнем и на нижнем пределах», скорее всего, не пополнит знания и старшеклассника, т.к. оно ему не понятно. Для того, чтобы понять данное определение, нужно закончить изучение элементарной математики и знать начала высшей.

Получение всяких знаний должно идти от простого к сложному. И тогда каждое новое сообщение будет в то же время понятным, а значит, будет нести информацию для человека.

Сообщение несет информацию для человека, если содержащиеся в нем сведения являются для него новыми и понятными.

Информацию, которую получает человек, можно считать мерой уменьшения неопределенности знаний. Если некоторое сообщение приводит к уменьшению неопределенности наших знаний, то можно говорить, что такое сообщение содержит информацию.

Например, после сдачи экзамена по информатике вы мучаетесь неопределенностью, вы не знаете какую оценку получили. Наконец, экзаменационная комиссия объявляет результаты экзамена, и вы получаете сообщение, которое приносит полную определенность, теперь вы знаете свою оценку. Происходит переход от незнания к полному знанию, значит, сообщение экзаменационной комиссии содержит информацию.

Рассмотрим вопрос об определении количества информации на конкретных примерах.

Например, после сдачи зачета или выполнения контрольной работы ученик мучается неопределенностью, он не знает, какую оценку получил. Наконец, учитель объявляет результаты, и он получаете одно из двух информационных сообщений: «зачет» или «незачет», а после контрольной работы одно из пяти информационных сообщений: «1», «2», «3», «4» или «5». Информационное сообщение об оценке за зачет приводит к уменьшению неопределенности знания в два раза, так как получено одно из двух возможных информационных сообщений. Информационное сообщение об оценке за контрольную работу приводит к уменьшению неопределенности знания в пять раз, так как получено одно из пяти возможных информационных сообщений.

Пусть у нас имеется монета, которую мы бросаем на ровную поверхность. С равной вероятностью произойдет одно из двух возможных событий — монета окажется в одном из двух положений: «орел» или «решка». Перед броском существует неопределенность наших знаний (возможны два события), и, как упадет монета, предсказать невозможно. После броска наступает полная определенность, так как мы видим (получаем зрительное сообщение), что монета в данный момент находится в определенном положении (например, «орел»). Это сообщение приводит к уменьшению неопределенности наших знаний в два раза, так как до броска мы имели два вероятных события, а после броска — только одно, то есть в два раза меньше.

При бросании равносторонней четырехгранной пирамиды существуют 4 равновероятных события (неопределенность знаний равна 4), а при бросании шестигранного игрального кубика — 6 равновероятных событий (неопределенность знаний равна 6).

Чем больше количество возможных событий, тем больше начальная неопределенность и соответственно тем большее количество информации будет содержать сообщение о результатах опыта.

Содержательный подход к измерению информации подразумевает знание информации, которую мы измеряем.

Для определения количества информации введена специальная единица измерения.

За единицу количества информации принимается такое количество информации, которое содержит сообщение, уменьшающее неопределенность в два раза. Такая единица названа «бит» (от binary digit - двоичная цифра).

Если вернуться к опыту с бросанием монеты, то здесь неопределенность как раз уменьшается в два раза и, следовательно, полученное количество информации равно 1 биту.

Неопределенность знаний о некотором событии — это количество возможных результатов события.

Рассмотрим еще один пример.

На книжном стеллаже восемь полок. Книга может быть поставлена на любую из них. Сколько информации содержит сообщение о том, где находится книга?

Применим метод половинного деления. Зададим несколько вопросов уменьшающих неопределенность знаний в два раза.

Задаем вопросы:

- Книга лежит выше четвертой полки?

- Нет.

- Книга лежит ниже третьей полки?

- Книга — на второй полке?

- Нет.

- Ну теперь все ясно! Книга лежит на первой полке!

Всего было задано три вопроса. Значит набрано 3 бита информации. И если бы сразу было сказано, что книга лежит на первой полке, то этим сообщением были бы переданы те же 3 бита информации.

2ⁱ = N

Данная формула позволяет определять: количество информации, если известно количество событий; количество равновероятных событий, если известно количество информации.
Задача 1. Какое количество информации содержится в неинформационном сообщении?

'>Решение:_N=1_=>'>Решение: N=0 => 2ⁱ=0 => i=Ɵ
Задача 2. Найти количество информации в однозначном сообщении.

Решение: N=1 => 2ⁱ=1 => i=0 бит
Задача 3. Измерить количество информации при ответе на вопрос: «Какая завтра будет погода?»

Решение: N=4 => 2ⁱ=4 => i=2 бит
Задача 4. Какое количество информации потребуется для кодирования одного шахматного поля?

Решение: N=8*8=64 => 2ⁱ=64 => i=6 бит
Задача 5. Получено сообщение, объемом 10 бит. Какое количество сообщений возможно составить из полученных данных?

Решение: i=10 => 2¹⁰=1024 => N=1024 сообщения
Задача 6. Какое количество слов получится из фразы в 8 бит?

Решение: i=8 => 2⁸=256 => N=256 слов
Задача 7. В корзине лежит 16 шаров разного цвета. Сколько информации несет сообщение, что достали белый шар?

Решение: N=16 => 2ⁱ=16 => i=4
Задача 8. Сообщение о том, что ваш друг живет на 6 этаже несет 4 бита информации. Сколько этажей в доме.

Решение: i=4 => 2⁴=16 => N=16 этажей
Задача 9. За четверть ученик получил 100 оценок. Сообщение о том, что он получил четверку, несет 2 бита информации. Сколько четверок ученик получил за четверть?

Решение: i =2 => 2²=4 => N=4 отметки. Это очевидно. Отметки «2», «3», «4», «5». Всего получено 100 отметок, а вот сколько из них четверок, не понятно даже ёжику.

ГЛАВА2. УРОК 2.Алфавитный подход к измерению информации.

Пока мы понять не можем. Однако, очевидно, что надпись сделана на русском языке. В русском языке 33 буквы, тогда количество информации 1 буквы будет равно 5 бит, следовательно все сообщение весит 40 бит.

Такой подход к измерению информации называется алфавитным. Количество информации при алфавитном подходе от содержания не зависит. При алфавитном подходе к определению количества информации отвлекаются от содержания информации и рассматривают информационное сообщение как последовательность знаков определенной знаковой системы.

Применение алфавитного подхода удобно прежде всего при использовании технических средств работы с информацией. В этом случае теряют смысл понятия «новые — старые», «понятные — непонятные» сведения. Алфавитный подход является объективным способом измерения информации в отличие от субъективного содержательного подхода.

Таким образом, мощность алфавита мы можем связать с количеством информации 1 буквы (назовем его – информационный вес одной буквы) i между собой известной формулой: 2ⁱ = N

Тогда количество информации сообщения можно посчитать по формуле: I=i*k, где к – количество символов в сообщении.

При алфавитном подходе к измерению информации количество информации зависит не от содержания, а от размера текста и мощности алфавита.

Решение. Пусть страница содержит 50 строк. В каждой строке — 60 символов. Значит, на странице умещается 50x60=3000 знаков. Т.е. к=3000. Тогда объем информации будет равен: 5 х 3000 = 15000 бит.

1 байт = 8 бит.

1 килобайт = 1Кб = 2¹⁰ байт = 1024 б.

1 мегабайт = 1Мб = 2²⁰ байт = 1024 Кб.

1 гигабайт = 1Гб = 2³⁰ байт = 1024 Мб.

1 терабайт = 1Тб = 2⁴⁰ байт = 1024 Гб.

Запишем число 2548 и представим его двумя различными способами.

2548 = 2_*1000 + 5_*100 + 4_*10 + 8 = 2_*10³ + 5_*10² + 4_*10¹ + 8_*10⁰ = (2548)₁₀

2548 = 2401 + 0 + 147 + 0 + 0 + 0 = 1_*7⁴ + 0_*7³ + 3_*7² + 0_*7¹ + 0_*7⁰ = (10300)₇

С древних времен человек имел потребность считать, сравнивать, оценивать количество. Для этого человеку достаточно было ограничиться использованием своих органов чувств и мозга, да еще пальцев на руках. Однако с развитием культуры, экономики появилась необходимость запоминать количество предметов, вес, размеры, расстояния. Так возникли первые способы закрепления информации в виде тех или иных знаков. Таких способов человечество наработало за время своего существования огромное количество. Система Счисления – способ наименования и изображения чисел с помощью символов, имеющих определенные количественные значения. СС бывают позиционные и непозиционные. Непозиционная СС - система счисления, в которой для обозначения чисел вводятся специальные знаки, количественное значение которых всегда одинаково и не зависит от их места в записи числа. Непозиционные цифры явно указывают мощность числа. Позиционная СС - система счисления, использующая для записи чисел ограниченное число знаков, интерпретация которых зависит от места в записи числа.

Рассмотрим некоторые из СС.

Десятеричная система счисления. Основана она на количестве пальцев. Самые известные цифры:

Римские появились около 5 века до Р.Х. Славянские в 9 веке. Арабские цифры появились в Индии около 5 века по Р.Х.. Это были цифры 1, …, 9. В Древнем Шумерском государстве (Ирак) добавили 0 – ничего. Появилась математика – Аль Хорезми. В Европе эти числа стали известны в 10-13 веках.

Чертим таблицу для сравнения арабских, римских и славянских чисел.

Двенадцатеричная система счисления. Ее происхождение связано со счетом на пальцах (четыре пальца руки имеют в совокупности 12 фаланг). В устной речи остатки двенадцатеричной системы сохранились и до наших дней: вместо того чтобы сказать «двенадцать»,. мы часто говорим «дюжина». Многие предметы (ножи, вилки, тарелки, носовые платки и т. п.) очень часто считают именно дюжинами, а не десятками.

Примеры. 1шиллинг = 12пенсов; 1 фут= 12 дюймам;

12 единиц = дюжина. Дюжина дюжин = гросс. Дюжина гроссов = масса.

Шестидесятеричная система счисления появилась в древнем Вавилоне, где произошло смешение двух племен, одно из которых пользовалось шестеричной системой, а другое — десятичной, и потому возник компромисс между этими двумя системами.

Примеры. 1 час = 60 мин. 1 мин. = 60 сек; 1

У ряда африканских племен была распространена пятеричная система счисления.

У ацтеков, майя и кельтов была принята двадцатеричная система. Пример. 1 франк = 20 су.

А какую систему использует компьютер? Двоичную.

Одним из важных вопросов математики является вопрос о выборе наиболее простых, удобных и совершенных методов кодирования величин.

Мы будем использовать двоичную. Но прежде сделаем три замечания.

ЗАМЕЧАНИЕ 1. В позиционных системах счисления для изображения числа используют конечное количество символов, которое является основанием системы.

ЗАМЕЧАНИЕ 2. Количество символов в системе равно основанию системы.

Пример: в 10ой – 10 (0,1,2,3,4,5,6,7,8,9), в 7ой – 7 (0,1,2,3,4,5,6), в 2ой – 2 (0,1).

Пример: в 10ой – девятка, в 7ой – шестерка, в 2ой – единичка.

ГЛАВА2. УРОК 4. Перевод чисел из десятичной системы счисления в разные.

Алгоритм Евклида.

    Метод перевода числа из десятичной системы счисления в недесятичную с использованием алгоритма Евклида заключается в следующем:

1. 
   Основание новой системы счисления выразить в десятичной системе счисления и все последующие действия производить в десятичной системе счисления.
   
2. 
   Последовательно выполнять деления данного числа и получаемых неполных частных на основание новой системы счисления до тех пор, пока не получим неполное частное, меньшее делителя.
   
3. 
   Полученные остатки, являющиеся цифрами числа в новой системе счисления, перевести в соответствие с алфавитом новой системы счисления.
   
4. 
   Составить число в новой системе счисления, записывая его, начиная с последнего частного.
   

    Пример.
    Перевести 25₁₀ в 2-ю систему счисления

    Алгоритм можно трактовать так:

1. Разделить с остатком исходное число, записанное в десятичной системе счисления и по правилам десятичной системы счисления, на основание новой системы счисления.

2. Если частное больше нуля, то повторить п.1 для частного.

3. Все остатки от деления, записанные в обратном порядке, будут являться значащими цифрами числа в новой системе счисления.
    Результат: 25₁₀ = 11001₂

   

Для большего понимания и закрепления темы рекомендую посетить сайт с лучшими рассуждениями, многими примерами, тестами:
http://wiki.likt590.ru/doku.php/informatika_2008:timofeeva_svetlana_sergeevna?do=export_xhtml

Перевод правильных дробей из десятичной системы счисления в разные.

Для перевода правильной десятичной дроби в другую систему эту дробь надо последовательно умножать на основание той системы, в которую она переводится. При этом умножаются только дробные части. Дробь в новой системе записывается в виде целых частей произведений, начиная с первого.

   

Пример.

    Перевести 0.3125₁₀ в 8-ю систему счисления.

    Результат: 0.3125₁₀ = 0.24₈

   

Замечание. Конечной десятичной дроби в другой системе счисления может соответствовать бесконечная (иногда периодическая) дробь. В этом случае количество знаков в представлении дроби в новой системе берется в зависимости от требуемой точности.

   

Пример.

    Перевести 0.65₁₀ в 2-ю систему счисления (точность 6 знаков)

    Результат: 0.65₁₀ ≈ 0.10(1001)₂

  

В заключение приведем довольно любопытную теорему. Известно, что при переводе десятичной дроби в другую систему счисления количество значащих цифр после запятой может меняться. Например, 0,125₁₀ = 0,1₈ или 0,5390625₁₀=0,8А₁₆.

    В этом контексте встает вопрос о максимальном количестве значащих цифр после запятой при переводе десятичной дроби в другую систему счисления.
    Теорема. Пусть имеется десятичная дробь, имеющая k значащих цифр после запятой, т.е. . Если данную дробь перевести в любую другую отличную от десятичной систему счисления, то количество значащих цифр после запятой конечной дроби в новой системе счисления будет определяться соотношением: .

    Покажем справедливость теоремы для числа с одной значащей цифрой после запятой в десятичной дроби (k = 1; (0,x₁)₁₀, х₁ <> 0) при переводе в двоичную систему счисления (z = 2).

   Используем метод перевода по частям (умножением) для перевода дробной части числа из десятичной системы счисления в двоичную.

    Для любых a_i, принадлежащих множеству {0; 1; 2; 3; 4; 5; 6; 7; 8; 9}, т.к. это множество является алфавитом десятичной системы счисления.

    Количество a_i вместе с x₁ соответствует количеству символов десятичного алфавита. Допустим, что все символы алфавита встречаются среди {а_i, x₁} хотя бы раз, тогда существует i, такой, что, начиная с а_i все последующие элементы должны равняться нулю. Если учесть предположение, что все символы алфавита встречаются хотя бы раз, то i = 9 (a₉ = 0), тогда число в двоичной системе счисления будет записано как (0.y₁y₂y₃y₄y₅y₆y₇y₈y₉)₂. Таким образом, количество значащих цифр после запятой в двоичной системе счисления будет равно 9 или t = 10¹-1.

    Если в ноль обратится элемент, индекс которого, меньше 9, то получаем t < 10¹-1. Объединим это неравенство с полученным ранее равенством, получаем: t ≤ 10¹-1.

    Допустим, что не один из {а_i, x₁} не равен нулю, тогда существуют i, j такие, что a _i = a_j. Тогда дальнейшее умножение приведет к повторяющейся последовательности a_i, т.е. полученная дробь в двоичной системе счисления является периодической, что выходит за рамки данной теоремы.

ГЛАВА2. УРОК 5. Перевод целых и дробных чисел в десятичную систему счисления из разных.

Перевод чисел в десятичную систему осуществляется путем составления степенного ряда с основанием той системы, из которой число переводится. Затем подсчитывается значение суммы.

 

Пример 1.

Перевести 10101101,101₂ в 10-ю систему счисления. Здесь и в дальнейшем при одновременном использовании нескольких различных систем счисления основание системы, к которой относится число, будем указывать в виде нижнего индекса.
10101101,101₂ = 1*2⁷ + 0*2⁶ + 1*2⁵ + 0*2⁴ + 1*2³ + 1*2² + 0*2¹ + 1*2⁰ + 1*2^-1 + 0*2^-2 + 1*2^-3 =

=1*128+0*64 +1*32 +0*16 + 1*8 + 1*4 + 0*2 + 1*1 +1*0,5 +0*0,25+1*125=

=128 + 0 + 32 + 0 + 8 + 4 + 0 + 1 + 0,5 + 0,25 + 0,125 = 173,875₁₀
Пример 2.

Перевести 10,25₈ в 10-ю систему счисления.

10,25₈ = 1*8¹ + 0*8⁰ + 2*8^-1 + 5*8^-2 =

= 1*8 + 0*1 + 2*0,125 + 5*0,015625 =

= 8 + 0 + 0,25 + 0,078125 = 8,328125₁₀

ГЛАВА2. УРОК 6. Количество информации.

За единицу измерения количества информации принимается такое количество информации, которое содержится в сообщении, уменьшающем неопределенность знания в 2 раза. Такая единица называется битом.

Вернемся к рассмотренному выше получению информационного сообщения о том, что выпал «орел» при бросании монеты. Здесь неопределенность уменьшилась в 2 раза, следовательно, это сообщение равно 1 биту. Сообщение о том, что выпала определенная грань игрального кубика, уменьшает неопределенность в 6 раз, следовательно, это сообщение равно 6 битам.

Для меры информации есть свои международные меры измерения его количества.
Исторически сложилось, что любой символ, вводимый с клавиатуры, стал кодироваться при помощи восьмиразрядного двоичного кода. Таким образом, получается:

1 байт (1b) = 8 bit

В международной системе СИ используют десятичные приставки «Кило» (10³), «Мега» (10⁶), «Гига» (10⁹),… В компьютере информация кодируется с помощью двоичной знаковой системы, поэтому в кратных единицах измерения количества информации используется коэффициент 2ⁿ.

2¹⁰ b = 1024 b = 1 Kb 1 000 (тысяча) b

2²⁰ b = 1024 Kb = 1 Mb 1 000 000 (миллион) b

2³⁰ b = 1024 Mb = 1 Gb 1 000 000 000 (миллиард) b

2⁴⁰ b = 1024 Gb = 1 Tb 1 000 000 000 000 (страшно много) b
Примеры: