Контрольная работа по "Теории информации и кодирования"

ОБРАЗОВАТЕЛЬНАЯ АВТОНОМНАЯ НЕКОММЕРЧЕСКАЯ ОРГАНИЗАЦИЯ 

                  "ВОЛЖСКИЙ УНИВЕРСИТЕТ ИМ. В.Н. ТАТИЩЕВА"

(ИНСТИТУТ)

Факультет "Информатика и телекоммуникации"

Кафедра “Информатика и системы управления" 
 
 
 
 
 
 
 

      КОНТРОЛЬНАЯ РАБОТА  

      по  дисциплине  "Теория информации и кодирования" 
 
 
 
 

Студент Аляутдинов Р.Х.          

Группа     ИТЗ - 301

                                     

Дата выполнения ________ 
 
 

Проверил _______________   Воронцова Е.В. 
 
 

                                 
 
 
 
 
 
 
 
 
 

Тольятти 2009 г.

1. В алфавите три буквы А, В, С. а) Составить максимальное количество сообщений, комбинируя по 3 буквы в сообщении? б) Какое количество информации приходится на одно такое сообщение? в) Чему равно количество информации на символ первичного алфавита?

Решение:

а) ААА  ААВ   ААС

  АВА  АВВ   АВС

  АСА  АСВ   АСС

  ВАА  ВАВ   ВАС

  ВВА  ВВВ   ВВС

  ВСА  ВСВ   ВСС

  САА  САВ   САС

  СВА  СВВ   СВС

  ССА  ССВ   ССС 

б) m=3, n=3

; бит.

в) I=log log =1.58 бит/символ

2. Определить максимум энтропии системы, состоящей из 6 элементов, каждый из которых может быть в одном из четырех состояний равновероятно.

Решение.

m=4, n=6

=   бит

 бит/символ.

3. При передаче сообщений по каналу связи с шумами была получена следующая статистика: частота f1 из 100 раз была принята 97 раз, 2 раза была принята частота f2  и 1 раз частота F3; при передаче f2 98 раз принята f2, два раза – f1; при передаче f3 96 раз принята f3, два раза  - f2 и два раза – f4; при передаче f4 99 раз принята f4 и один раз - f3.

 а)  Составить канальную матрицу,  описывающую данный канал связи  с точки зрения условий прохождения  частот f1 – f4.

б) Определить общую условную энтропию сообщений, алфавитом которых являются частоты f1 - f4,если вероятности появления этих частот в передаваемых сообщениях соответственно равны: p(f1)=0,37, p(f2)=0,3, p(f3)=0,23, p(f4)=0,1. 
 

Решение.

а)

 

б) Общая условная энтропия для неравновероятностной системы:

-(0,37*(0,97 +0,02 +0,01 )+0,3*(0,02 + +0,98 )+0,23*(0,02 +0,96 +0,02 )+0,1*(0,01* +0,99 ))=0,37*(0,04+0,11+0,07)+0,3*(0,11+0,03)+0,23*(0,11+0,06+

+0,11)+0,1*(0,33+0,01)= 0,37*0,22+0,3*0,14+0,23*0,28 +0,1*0,34=0,08+0,04+0,06+0,03=

=0,21 бит/символ 

4. Сообщения передаются комбинированием  частот f1, f2, f3, f4. Статистические испытания канала связи для этих частот дали следующие результаты:

а) Определить энтропию объединения передаваемых и принимаемых сообщений, если частоты  f1 – f4 появляются на выходе передатчика со следующими вероятностями: p(f1) = =p(f2) = p(f3) = 0,2; p(f4) = 0,4.

б) Определить информационные потери при передаче сообщений, состоящих из 1000 элементарных частотных посылок.

Решение.

а) Энтропия объединения находится по формуле:

Т.к. условная вероятность находится    , то выражаем взаимную вероятность:

Соответственно  матрица взаимных вероятностей будет  иметь вид:

 

т.е.:

 

Теперь  можно найти энтропию объединения:

0,19668*log 0,19668+0,0032*log 0,0032+0,00012*log 0,00012+ 
+0,0032*log 0,0032+0,19674*log 0,19674+0,00006*log 0,00006+0,0058*log 0,0058+

+0,19416*log 0,19416+0,00004*log 0,00004+0,00348*log 0,00348+0, 39652*

*log 0,39652)=0.461+0.027+0.02+0.027+0.461+0.001+0.238+0.459+0.001+0.028+0.529=

=2.252 символ 

б) Информационные потери при передаче сообщений, состоящих из 1000 элементарных частотных посылок, найдём по формуле:

H(A)= = -(0.2*log 0.2+0.2* log 0.2+0.2* log 0.2+0.2* log 0.2)=

=4*0.2* log 0.2)=1.858

H(B)= =-(0.2*log 0.2+0.206*log 0.206+0.199*log 0.199+0.397* log 0.397)=0.464+0.47+0.464+0.529=1.927

   бит

5. Определить среднюю избыточность на 200-буквенный текст, построенный из алфавита A, B, C, D со следующим распределением вероятностей: p_a = 0,1; p_b = 0,25; p_c = 0,35; p_d = 0,3.

Решение.

Избыточность находится по формуле:

Для алфавита из четырех букв максимальная энтропия

Средняя энтропия на символ сообщения

6. Каким способом проще всего свернуть следующий массив:

1 2 3 4 5 6 7 8

1 2 3 4 5 6 7 8

1 2 3 4 5 6 7 8

1 2 3 4 5 6 7 8

1 2 3 4 5 6 7 8

Решение.

1 2 3 4 5 6 7 8

   p p p p