1.2. Измерение информации. Вероятностный подход

Как можно применить вероятностный подход к измерению объема информации?

Подумай

  • Для чего нужно определять объем информации?
  • Какие виды измерения объема информации вы знаете?

Новые знания

Вероятностный подход

   Объем информации в сообщении о каких-либо событиях зависит от вероятности его получения. Имеются различные устройства и системы, которые дают возможность собрать и обработать информацию.
​​   Сообщение – это информация, представленная в определенной форме, которая в процессе передачи данных поступает к получателю.
​   Сообщение – это слова, которые мы слышим (радиопередачи, объяснение учителя), видеоизображение, которое мы визуально воспринимаем (фильм, сигнал светофора), текст книги, который мы читаем и т.д.
​   

   Информативность сообщения характеризуется содержащейся в нем полезной информацией, для определения объема которой необходима единица измерения. Для человека получение новой информации приводит к расширению знаний или к уменьшению неопределенности. Есть два вида измерения информации.

Вероятностный подход определения количества информации

   Сообщение, уменьшающее неопределенность знания в два раза, несет 1 бит информации.
​   Сообщение об одном из двух равновероятных результатов некоторого события несет 1 бит (условно 0 или 1) информации.

   Примечание: Определение «бит» в данной формулировке может быть сложным для восприятия, потому что содержит непонятный термин «неопределенность знаний». Сначала нужно раскрыть смысл этого термина. Рассмотрим пример, чтобы понять его.

   Пример 1. Подбрасывая монету, вы загадываете, что выпадет: орел или решка. Есть всего два возможных результата подбрасывания монеты. Причем ни один из этих результатов не имеет преимущества перед другим. В таком случае говорят, что они равновероятны. Узнав результат подбрасывания монеты, вы получили один бит информации.

   Так как у монеты есть две стороны и мы не знаем, какой стороной она упадет, то перед ее подбрасыванием неопределенность знаний равна двум. Следовательно, результатом будет решение уравнения 2x = 2 и получаем, что х = 1 бит.

Пример 1
Пример 2

   Пример 2. В игре в кости используют игральный кубик с шестью гранями. Сколько бит информации каждый бросок кубика несет игроку?

   Примечание: Каждая из шести сторон кубика имеет равную вероятность выпадения. Тогда неопределенность знаний о результате броска кубика уменьшится в 6 раз. Количество информации определится при решении уравнения

2= 6.

   Вероятностное событие с ограниченной возможностью числа N исходов считается случайным событием.
​   В 1928 г. американский инженер Ральф Хартли рассматривал процесс получения информации как выбор одного сообщения из конечного, наперед заданного множества N равновероятных сообщений.

N – количество равновероятных событий;
x – количество бит в сообщении.

   Пусть в некотором сообщении содержатся сведения о том, что произошло одно из N возможных равновероятных событий. Тогда количество информации, заключенное в этом сообщении, – х бит и число N – количество событий, связаны формулой Хартли. С основными особенностями формулы Ральфа Хартли вы ознакомитесь в старших классах.

Таблица 1

   Примечание: По таблице можно определить количество бит, соответствующее числу событий. Например, на уроке по пятибалльной системе можно получить одну из четырех оценок «5», «4», «3», «2» с равной вероятностью, то есть имеется 4 события (оценку «1» мы не будем рассматривать). В соответствии с таблицей 4 события несут 2 бита информации. Разумеется, удобно, когда количество событий соответствует целой степени числа 2. Если же количество событий будет 14 или 23, то появляется необходимость использования математического понятия – логарифм. С понятием «логарифм» вы познакомитесь в старших классах.

 – основная единица измерения информации. – информационный вес символа алфавита.

  • количество равновероятных событий
  • количество бит в сообщении
  • N
  • x

   Пример №1

  Ученики пошли в бассейн с 8 дорожками. Инструктор сообщил им, что они будут плавать по 3 дорожкам. Какое количество информации получили ученики из данного сообщения?

   Запишите краткую запись к примеру по следующему образцу:

Дано:
N = 8

Решение:
​​N = 2х
​8 = 2х => 23 = 2х, х = 3

Ответ: 3 бита.

Найти: х-?

   Примечание: Мы должны ответить на вопрос: число 2 в какой степени равно 8.

Анализ задачи

  Пример №2

   Тимур живет на третьем этаже многоэтажного дома. Это сообщение несет 4 бита информации. Сколько этажей в доме Тимура?

Дано:
х = 4

Решение:
​​N = 2х => N = 24 => N = 16

Ответ: 16 этажей.

Найти: N-?

   Примечание: в данном случае на ответ не влияет на каком этаже живет Тимур. Даже если Тимур жил бы на 7 этаже, ответ был бы таким же.

   Пример №3

   В школьной библиотеке книги расположены на 16 стеллажах с 8 полками каждая. Библиотекарь сообщила Диане, что книга, которая ей нужна, находится на пятой полке седьмого стеллажа. В каком количестве ученица получила информацию?

Дано:
N= 16
N= 8

Решение:
N1 = 2х1;
N2 = 2х2;

​Если 16 = 2х1 , х1=4;
​Если 8 = 2х2 , х2= 3
​Общая информация, воспринятая учеником:
х = х1+ х2              х = 4 + 3 = 7

Ответ: 7 бит.

Найти: х-?

   Примечание: Для получения результата достаточно знать количество стеллажей и полок.

Задания

x
N
Ответ: N

x =  
N
Ответ: у Анны  учебников.

N1

N2

x1

x2

x1 + x2

Ответ:  бит

x
N
Ответ: 

N
x
Ответ:  бит

N
x
Ответ: x

x
N
Ответ:  полок.

Белый шар

Синий шар

N1

N2

x1

x2

x
N
Ответ: в коробке  красных карандашей.

x
N
Ответ: N

x
N
Ответ: N

Число стеллажей

Число полок

x1

x2

N1

N2

Ответ: в библиотеке  стеллажа, в каждом из которых по  полок.

Вопросы

  1. Чем определяется объем знаний человека, получающего сообщение?
  2. Что такое вероятностный подход измерения объема информации?
  3. Чему равно сообщение, уменьшающее неопределенность знаний в два раза?
  4. Что характеризует формула Ральфа Хартли?
  5. Что такое случайное событие?
Өтінемін күте тұрыңыз