Методы измерения количества информации: алфавитный и вероятностный.
Обязательная часть:
Сегодня мы с вами поговорим об измерении информации, т. е. об определении ее количества.
Как вы думаете, какая из книг содержит большее количество информации (показать тонкую и толстую)?
Какое сообщение несет для вас больше информации «завтра учимся по обычному расписанию» или «завтра вместо литературы будет химия»?
Вы заметили, что посмотрели на информацию с точки зрения количества символов, в ней содержащихся, и с точки зрения ее смысловой важности для вас?
Существует 2 подхода при определении количества информации – смысловой и технический (алфавитный). Смысловой применяется для измерения информации, используемой человеком, а технический (или алфавитный) – компьютером.
Для человека получение новой информации приводит к расширению знаний, или к уменьшению неопределенности. Например, сообщение о том, что завтра среда, не приводит к уменьшению неопределенности, поэтому оно не содержит информацию. Пусть у нас имеется монета, которую мы бросаем на ровную поверхность. Мы знаем до броска, что может произойти одно из двух событий – монета окажется в одном из двух положений: «орел» или «решка». После броска наступает полная определенность (визуально получаем информацию о том, что выпал, например, «орел»). Информационное сообщение о том, что выпал «орел» уменьшает нашу неопределенность в 2 раза, так как получено одно из двух информационных сообщений.
В окружающей действительности достаточно часто встречаются ситуации, когда может произойти больше, чем 2 равновероятных события. Так, при бросании шестигранного игрального кубика – 6 равновероятных событий. Событие выпадение одной из граней кубика уменьшает неопределенность в 6 раз. Чем больше начальное число событий, тем больше неопределенность нашего знания, тем больше мы получим информации при получении информационного сообщения.
Количество информации можно рассматривать как меру уменьшения неопределенности знания при получении информационных сообщений.
Существует формула, которая связывает между собой количество возможных информационных сообщений N и количество информации I, которое несет полученное сообщение:
N=2I (N – количество возможных информационных сообщений, I – количество информации, которое несет полученное сообщение).
Для количественного выражения любой величины необходимо определить единицу измерения. Например, для измерения длины выбран определенный эталон метр, массы – килограмм.
Суть технического или алфавитного подхода к измерению информации определяется по количеству использованных для ее представления знаков некоторого алфавита. Например, если при представлении числа XVIII использовано 5 знаков римского алфавита, то это и есть количество информации. То же самое число, т. е. ту же самую информацию, можно записать в десятичной системе (18). Как видим, получается 2 знака, т. е. другое значение количества информации. Для того, чтобы при измерении одной и той же информации получалось одно и то же значение количества информации, необходимо договориться об использовании определенного алфавита. Так как в технических системах применяется двоичный алфавит, то его же используют для измерения количества информации. Количество знаков в алфавите N=2, N=2I, I – количество информации, которое несет один знак. 22 = 21 , I=1бит. Интересно, что сама единица измерения количества информации «бит» (bit) получила свое название от английского словосочетания «BInary digiT» - «двоичная цифра».
Чем большее количество знаков в алфавите, тем большее количество информации несет 1 знак алфавита.
Определите самостоятельно количество информации, которое несет 1 буква русского алфавита (ответ).
Дополнительная часть:
Количественная зависимость между вероятностью и количеством информации:
Пусть s – это общее число возможных исходов какого-либо события (вытаскивание шара, получения оценки), и из них интересующее нас событие может произойти k раз, то вероятность этого события равна k/s.
Вероятность выражается в долях единицы. В частном случае вероятность равна 1 (из 50 белых шаров вытащили белый шар); вероятность невозможного события равна 0 (из 50 белых шаров вытащен черный шар).
Качественная связь между вероятностью события и количеством информации в сообщении об этом можно выразить так: чем меньше вероятность некоторого события, тем больше информации содержит сообщение об этом событии.
Количественная зависимость между вероятностью и количеством информации выражается формулой:
Задания:
1. Определите какое количество учебников поместится на диске, информационный объем которого 700 Мб.
Решение:
Определить количество символов в учебнике (количество символов в строке*количество строк на странице * количество
страниц) 60 * 30 *203 = 365400 символов = 365400 байт = 365400/1024/1024 Мб= 0,35 Мб. Количество учебников
К=700/0,35= 2000 учебников.
2. Какое количество информации содержится в одном символе 8 разрядного двоичного кода (символ А – 11000000)? Ответ: 8 битов или 1 байт.
3. В корзине 8 черных и 24 белых шара. Сколько информации несет сообщение, что из корзины достали черный шар?
Решение:
Определим общее количество шаров (32) и вероятность попадания черного шара: 8/32 или p=1/4. По формуле 2i=1/p, получаем i=2 бита.