Характеристика непрерывных источников информации

Для доказательства свойства также используем метод вариационного исчисления – .

Теперь при  максимизации интеграла в выражении

 \* MERGEFORMAT ()

второе  ограничение в  можно отбросить и положить

, \* MERGEFORMAT ()

поскольку дисперсия распределения  не ограничивается.

Это соответствует  в уравнении Эйлера значению , откуда следует, что искомая плотность имеет вид

, \* MERGEFORMAT ()

и, следовательно, является равномерной.

Подставляя  в условие и выполняя интегрирование на ограниченном интервале , получаем

,

откуда  следует, что  , искомая плотность распределения принимает вид

и совпадает  с .

2.4. Совместная и условная дифференциальная энтропия

Для непрерывных источников вводятся понятия совместной и условной дифференциальных энтропий, которые позволяют учитывать статистические связи между сечениями сигналов U и V двух или нескольких источников, между последовательными сечениями сигнала на выходе одного источника, между отсчетами сигналов на входе и выходе канала связи.

Совместная  дифференциальная энтропия двух сечений U и V определяется выражением

, \* MERGEFORMAT ()

где – совместная плотность распределения случайных величин U и V.

Совместную  плотность распределения  можно представить в виде

, \* MERGEFORMAT ()

где

;  \* MERGEFORMAT ()

– плотности распределения составляющих U и V; – условная плотность вероятностей составляющей U при заданном значении ; – условная плотность распределения составляющей V при заданном значении .

Условная  дифференциальная энтропия случайной  величины U при известной случайной величине V определяется по формуле

, \* MERGEFORMAT ()

а условная дифференциальная энтропия случайной  величины V при известной случайной величине U составляет

. \* MERGEFORMAT ()

Из выражений  – следует, что перечисленные дифференциальные энтропии связаны соотношениями

; \* MERGEFORMAT ()

, \* MERGEFORMAT ()

причем  для статистически независимых сечений U и V, когда в выражениях , и , дифференциальная энтропия объединения равна сумме энтропий и

, \* MERGEFORMAT ()

а условные дифференциальные энтропии равны соответствующим  безусловным

, . \* MERGEFORMAT ()

Вычислим  совместную и взаимную дифференциальную энтропии и между отстоящими через интервал времени сечениями и стационарного гауссовского сигнала с математическим ожиданием , дисперсией и нормированной автокорреляционной функцией .

Сначала найдем совместную плотность распределения  сечений  и как частный случай соотношения при m = 2.

При m = 2 корреляционная матрица принимает вид

и ее определитель равен  .

Обратная  матрица определяется выражением

,

где – алгебраические дополнения элементов , равные умноженным на величины определителям матриц порядка , получающихся из матрицы путем вычеркивания в ней i-й строки и j-го столбца.

Так как и , матрица принимает вид

и в  соответствии с общим выражением двумерная плотность вероятностей составляет

Согласно  выражение для совместной дифференциальной энтропии имеет вид

.

Вычислим  логарифм плотности 

и подставим  найденное значение в формулу  для  . Получим

Далее учтем  соотношения, которые в соответствии с формулами , и имеют следующий вид:

;

;

;

.

В результате получаем

или в окончательном виде

.

 

Теперь найдем значение условной дифференциальной энтропии.

Непосредственное  вычисление можно провести по формуле , которая в данном случае имеет вид

.

Условная  плотность вероятностей сечения  при заданном значении в соответствии с формулой определяется выражением

 и имеет вид

После сокращения и приведения подобных членов в показателе экспоненты получаем

Найдем логарифм полученной плотности

и подставим  его значение в формулу для  :

Учитывая  используемые ранее соотношения, представим последнее выражение для  в виде

или окончательно

.

Полученное  соотношение можно найти значительно  более простым способом, если использовать формулу , которая в рассматриваемом случае имеет вид

.

Подставляя  в эту формулу значения соответствующих  дифференциальных энтропий

 и

,

получаем  такой же результат:

.

 

ЗАКЛЮЧЕНИЕ

Передача  информации осуществляется либо самим  источником информации, либо по запросу. Это происходит для того, чтобы  устранить неопределенность относительно последовательности состояний, которые  реализуются некоторым источником информации. Обычно запрос обусловлен тем, что нет возможности наблюдать  состояния источника непосредственно. Поэтому пользователь обращается к  информационной системе, которая извлекает  интересующую его информацию из источника  посредством некоторого первичного преобразователя и направляет ее по каналу связи абоненту.

Информация  передается всегда в форме сигналов. Сигналы z, поступающие с выхода первичного преобразователя источника информации на вход канала связи, называется сообщениями в отличие от сигнала u, которые формируются на входе линии связи. В зависимости от формы создаваемых сообщений различают источники дискретных и непрерывных сообщений.

Отдельные первичные сигналы с выхода источника  дискретных сообщений называют элементами сообщения, которым соответствует определенное состояние источника информации. В случае параллельной реализации источником информации множества состояний, как это имеет место, например, в документах с печатным текстом, первичный преобразователь обеспечивает их последовательное отображение элементами сообщения. Таким преобразователем может быть как автоматическое читающее устройство, так и человек.

Основная характеристика источника информации — количество информации — рассматривается в данной работе применительно к передаче отдельных статистически несвязанных элементов сообщения. При этом непрерывный источник характеризуется одномерной плотностью распределения случайной величины z — ρ(z).

 

 

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

 

1. Вернер М. Основы кодирования: Учебник  для вузов. – М.: Техносфера, 2004. – 286 с.
2. Дмитриев В.И. Прикладная теория информации. – М.: Высш. шк., 1989. – 320 с.
3. Зюко А.Г. Помехоустойчивость и эффективность систем связи. – М.: Связь, 1972. – 360 с.
4. Зюко А.Г. Элементы теории передачи информации. – К.: Тэхника, 1969. – 300 с.
5. Зюко А.Г., Коробов Ю.Ф. Теория передачи сигналов: Учебник для вузов. – М.: Связь, 1972. – 282 с.
6. Игнатов В.А. Теория информации и передачи сигналов: Учебник для вузов. – М.: Сов. радио, 1979. – 280 с.
7. Информационные технологии в радиотехнических системах: Учебное пособие / В.А. Васин, И.Б. Власов, Ю.М. Егоров и др.; Под ред. И.Б. Федорова. – М.: Изд-во МГТУ им Н.Э. Баумана, 2003. – 672 с.
8. Колесник В.Д., Полтырев Г.Ш. Курс теории информации. – М.: Наука, 1982. – 416 с.
9. Коржик В.И., Финк Л.М., Щелкунов К.Н. Расчет помехоустойчивости систем передачи дискретных сообщений: Справочник / Под ред. Л.М. Финка. – М.: Радио и связь, 1981. – 232 с.
10. Липкин И.А. Основы статистической радиотехники, теории информации и кодирования. – М.: Сов. радио, 1978. – 240 с.
11. Помехоустойчивость и эффективность систем передачи информации / А.Г. Зюко, А.И. Фалько, И.П. Панфилов и др.; Под ред. А.Г. Зюко. – М.: Радио и связь, 1985. – 272 с.
12. Прокис Дж. Цифровая связь. Пер. с англ. / Под ред. Д.Д. Кловского. – М.: Радио и связь, 2000. – 800 с.
13. Радиотехнические системы передачи информации: Учеб. пособие для вузов / В.А. Борисов, В.В. Калмыков, Я.М. Ковальчук и др.; Под ред. В.В. Калмыкова. – Радио и связь, 1990. – 304 с.
14. Скляр Б. Цифровая связь. Теоретические основы и практическое применение. Изд. 2-е, испр.: Пер. с англ. – М.: Издательский дом «Вильямс», 2003. – 1104 с.
15. Теория передачи сигналов: Учеб. для вузов / Зюко А.Г., Кловский Д.Д., Назаров М.В., Финк Л.М. – М.: Связь, 1980. – 288 с.
16. Теория электрической связи: Учебник для вузов / А.Г. Зюко, Д.Д. Кловский, В.И. Коржик, М.В. Назаров – М.: Радио и связь, 1999. – 432 с.
17. Фано Р. Передача информации. Статистическая теория связи: Пер. с англ. / Под ред. Р. Л. Добрушина. – М.: Мир, 1965. – 438 с.
18. Финк Л.М. Теория передачи дискретных сообщений. – М.: Сов. радио, 1970. – 728 с.
19. Цымбал В.П. Теория информации и кодирование. – К.: Вища шк., 1977. – 288 с.
20. Шеннон К. Математическая теория связи / Работы по теории информации и кибернетике: Пер. с англ. / Под ред. Р.Л. Добрушина и О.В. Лупанова. – М.: ИЛ, 1963. – 830 с.
21. Яглом А.М., Яглом И.М. Вероятность и информация. – М.: Наука, 1973. – 511 с.