Шеннонның алғашқы теоремасы

"Ақпаратты өлшеу" деген ұғымды анықтау өте қиын. Ол үшін алдымен ақпаратты өлшеу бірлігін анықтау қажет болды.Ақпарат санын көлемдік (алфавиттік) және мағыналық, ықтималдық жолдарымен өлшеуді анықтап қалыптастырған информатика ғылымының негізін түрғызушылардың бірі Джон фон Нейман және Клод Шеннон болды.Шеннон формуласы: I = — ( p1log2 p1 + p2 log2 p2 + . . . + pN log2 pN),мұндағы pi — N мәліметтер жиынынан дәл i-ші мәліметініңбөліну ықтималдығы.Егер p1, ..., pN ықтималдықтары тең болса, онда олардың әр қайсысы 1/N тең және Шеннон формуласы Хартли формуласына айланады.Ақпарат санын анықтауда қарастырылған екі әдістен басқаларыда бар.Алғашқы болжамдау шеңберінде, кез келген теориялық нәтижелер тек белгілі жағдайларға ғана қолданылатындығын ұмытпаған дұрыс.Клод Шеннон ақпарат бірлігі есебінде бір битті (англ. bit —binary digit — екілік цифр) ұсынды

.Бит ақпарат теориясында — екі тең ықтималды мәліметтерді айыру үшін қажет ақпарат саны. ("герб"—"сан", "жұп"—"тақ", т.с. сияқты).Мысалы, жеребеге тиынды лақтырғанда герб түскені туралы хабар 1 бит ақпарат әкеледі. Себебі, оқиғаның мүмкін болу саны 2-ге тең (герб немесе сан) және екеуі де теңықтималды. Демек, нәтиже саны, 2х= 2 теңдеуін шешкенде, х = 1 бит деп шығады. Бит – екі тең ықтималды тәжрибенің (оқиғаның) белгісіздігін өлшейтін бірлік. Есептеуіш техникада бит деп деректерді және командаларды ішкі машиналық ұсынуына қолданылатын, "0" немесе "1" екі белгінің біреуін сақтау үшін қажет компьютер жадысының ең аз өлшемінайтады.Бит — тым ұсақ өлшеу бірлігі. Тәжрибеде көбінесе одан ірілеу өлшеу бірлігі — сегіз битке тең, байт қолданылады.Компьютер пернетақтасындағы алфавиттің 256 символының кез келгенін кодтау үшін дәл сегіз бит керек (256=28).