Лабораторная работа по "Информатике"

 

Лабораторная  работа №

Единицы измерения и методы измерения  количества информации.

Цель: получить практические навыки для определения количества информации.

 

Основные  положения:

Формула Хартли:

I = Log₂ N

Логарифмом называют показатель степени (I), в которую нужно возвести основание логарифма (2), чтобы получить заданное число (N), т.е., если I = Log₂ N, то N = 2^I

Формула Хартли определяет количество бит I (длину двоичного слова), которое требуется для кодирования N равновероятных сообщений (объектов, состояний, событий).

I = Log₂ N = Log₂ (1/p) = –Log₂ P

При равенстве вероятностей р появления событий можно  записать

P = 1/N    N = 1/p

1. Пусть А — упорядоченное  множество из N элементов, тогда для кодирования каждого элемента двоичным кодом, например, путем нумерации в двоичной системе счисления, требуется Log₂ N двоичных разрядов (бит). Объем информации I, содержащейся в сообщении о том, что выбран какой-либо элемент этого множества, равен, соответственно LOG₂ N бит. Если N не является целой степенью 2, то число LOG₂ N, не является целым, и происходит округление в большую сторону. При решении задач, если N не является целым числом, I можно найти как LOG₂ N’, где N’ ближайшая к N степень двойки, такая что N’>N.

2. Следует из предыдущего.  Если некоторый алфавит содержит М символов, то информационный объем одного символа этого алфавита в сообщении равен Log2 M. Для того чтобы найти информационный объем сообщения, состоящего из символов этого алфавита, следует Log2 M умножить на количество символов в сообщении.

3. С помощью X двоичных разрядов (бит) можно закодировать двоичным кодом все элементы множества мощностью 2x (т.е. состоящего из 2x элементов). Информационный объем одного символа, обозначающего элемент данного множества, будет равен X.

Пример 1.

В зрительном зале две прямоугольные области зрительских кресел: одна 10 на 5, а другая 4 на 8. Какое минимальное количество бит потребуется для кодирования каждого места в автоматизированной системе?

Решение

N = 10*5 + 4*8 = 82.

N’ = 128 = 2⁷

I = Log₂ N’ = Log₂(2⁷) = 7

Ответ: 7 бит.

Пример 2.

В велоконкурсе участвуют 230 спортсменов. Специальное устройство регистрирует прохождение каждым из участников промежуточного финиша, записывая его номер с  использованием минимально возможного количества бит, одинакового для  каждого спортсмена. Каков информационный объем сообщения, записанного устройством, после того как промежуточный финиш прошли 20 велосипедистов?

Решение

N = 230

N’ = 256 = 2⁸

I = Log₂ N’ = 8 — минимальное количество бит для записи номера спортсмена.

Поскольку была записана информация о 20 спортсменах, объем записанного сообщения составил 20*8 = 160 бит.

Ответ: 160 бит.

Пример 3.

Сколько существует различных последовательностей  из символов «+» и «–», длиной ровно  в шесть символов?

Решение

В данном случае алфавит состоит из двух элементов, потому информационный объем одного символа = 1 бит. 6 бит позволяют закодировать множество из 2⁶ = 64 элементов.

Пример 4.

Световое табло состоит из лампочек. Каждая лампочка может находиться в одном из трех состояний («включено», «выключено» или «мигает»). Какое наименьшее количество лампочек должно находиться на табло, чтобы с его помощью можно было передать 18 различных сигналов?

Решение

С помощью N лампочек, каждая из которых может находиться в трех состояниях, можно закодировать 3ⁿ сигналов. 3²<18<3³, поэтому двух лампочек недостаточно, а трех хватит.

Ответ: 3

Пример 5.

В колоде 36 карт. Из них 12 карт с «портретами» валетов, дам и королей. Какое  количество информации содержат сообщения о том, что из колоды была взята карта с портретом (I₁), туз (I₂), любая карта от шестерки до десятки (I₃), туз пик (I₄)?

Все четыре события имеют разную вероятность выполнения. Эти вероятности соответственно равны: P₁ = 12/36 = 1/3, P₂ = 4/36 = 1/9, P₃ = 20/36 = 5/9, P₄ = 1/36.

Для вычисления количеств информации используем формулу I = Log₂(1/P) = -Log₂(P). Вычисления дают следующие результаты:

I₁= -Log₂12/36 = 1,585,

I₂ = -Log₂4/36 = 3,17,

I₃ = -Log₂20/36 = 0,847,

_I4 = =-Log₂1/36 = 5,174.

Последний результат  показывает, что для кодирования  всех 36 карт требуется 5,174 бита или шестибитовое двоичное слово (2⁵ = 32 — мало, т.к. 32<36, 2⁶ = 64, 64>36).

Пример 6.

В составе поезда 16 вагонов. Среди них есть вагоны купейные и плацкартные. Сообщение о том, что ваш знакомый приезжает в купейном вагоне несет 2 бита информации. Определить, сколько в поезде купейных вагонов?

Обозначим х — искомое число купейных вагонов. Вероятность того, что знакомый приезжает в купейном вагоне, равна р == х/16.

Для решения используем формулу I = Log₂(1/р). Напомним, что I — это показатель степени, в которую нужно возвести основание логарифма 2, чтобы получить число 1/р. Величина I по условию задачи равна 2. Подставим значения: 2² = 16/х, откуда получаем х = 4, т.е. в поезде 4 купейных вагона.

Напоминание. На практике используются более объемные, производные единицы количества (объема) информации: 1 байт = 8 бит;

1 килобайт (правильнее  — кбайт) = 2¹⁰ байтов = 1024 байтов;

1 мегабайт (правильнее  — Мбайт) = 2¹⁰ килобайтов = 1024 килобайтов;

1 гигабайт (правильнее  — Гбайт) = 2¹⁰ мегабайтов = 1024 мегабайтов;

1 терабайт (правильнее  — Тбайт) = 2¹⁰ гигабайтов = 1024 гигабайт и т.д.

До недавнего времени  каждый символ, вводимый в память компьютера с клавиатуры, кодировался восьмибитовым  двоичным словом — одним байтом. Байт позволяет кодировать 2⁸ = 256 различных символов и команд. Последнее время осуществляется переход на двухбайтовую 'систему кодирования, позволяющую кодировать 2¹⁶ = 65536 символов и команд.

Пример 7.

В книге В.Э. Фигурнова  «IВМ РС для пользователя» 432 страницы. На каждой странице 46 строк. В каждой строке по 62 символа, включая пробелы. Для кодирования каждого символа требуется один байт. Всего в книге 432 * 46 * 62 = 1230408 символов. Потребный для хранения книги в запоминающем устройстве объем памяти равен 1230408 байт, или 1231 килобайт, или 1,24 мегабайта, т.е. весь текст книги можно записать на одну дискету с объемом памяти 1,44 мегабайта.

На практике нередко  отождествляют понятия количества информации, объема информации и объема памяти, потребного для хранения информации. Поясним их различие следующим примером,

Пусть задана рассмотренная в примере 7 книга Фигурнова и такого же объема книга, на каждой странице которой одни вопросительные знаки. Для хранения каждой из этих книг требуется одна дискета, но количество содержащейся в книгах информации резко отличается. Всю информацию второй книги можно записать одной фразой типа «432 страницы вопросительных знаков». Но и это сообщение многим не несет никакой полезной информации. Объем книг и объем потребной для их хранения памяти одинаков, а количество информации существенно различается.

В целях экономии памяти при записи информации на хранение широко используют процедуру ее сжатия. Так, рассматриваемую выше книгу можно сжать примерно в десять раз. При этом следует понимать, что путем сжатия уменьшается не количество информации, а только ее объем.

Поэтому более правильно  говорить о количестве информации, содержащейся в некотором сообщении, документе, книге, и объеме памяти, потребной для записи и хранения этого документа в запоминающем устройстве компьютера.