Характеристика непрерывных источников информации

Подача  информации в цифровой форме облегчает унификацию операций ее преобразования на всех этапах обращения. Массовость изготовления типовых узлов и блоков, простота их настройки, отсутствие необходимости регулировки в процессе эксплуатации позволяют, в свою очередь, улучшить такие важнейшие технико-экономические показатели средств цифровой техники, как стоимость изготовления и эксплуатации, а также надежность.

Низкая   стоимость   и   высокая   надежность  больших интегральных схем, естественно, являются мощными  стимулами дальнейшего расширения областей использования цифровых сигналов.

Глава 2. основные характеристики Непрерывных источников информации

2.1. Количественная оценка информации

Рассмотрим дискретный источник информации, который может в каждый момент времени случайным образом принять одно из конечного множества возможных состояний. Каждому состоянию источника ставится в соответствие условное обозначение в виде знака (буквы) из алфавита данного источника: u₁, u₂, ..., u_N.

Поскольку одни состояния выбираются источником чаще, а другие реже, то в общем  случае он характеризуется полной совокупностью  состояний с вероятностями их появления, составляющими в сумме  единицу:

 или (6)

причем

или (7)

Меру неопределенности выбора состояния источника можно рассматривать и как меру количества информации, получаемой при полном устранении неопределенности относительно состояния источника. Мера должна удовлетворять ряду естественных условий. Одним из них является необходимость монотонного возрастания с увеличением возможностей выбора, т. е. числа возможных состояний источника N, причем недопустимые состояния (состояния с вероятностями, равными нулю) не должны учитываться, так как они не меняют неопределенности.

Степень неопределенности реализации состояния источника информации зависит не только от числа состояний, но и от вероятностей этих состояний. При неравновероятных состояниях свобода выбора источника ограничивается, это приводит к уменьшению неопределенности. Если источник информации имеет, например, два возможных состояния с вероятностями 0,99 и 0,01, то неопределенность выбора у него значительно меньше, чем у источника, имеющего два равновероятных состояния.

Это позволяет сформулировать следующее  требование к искомой мере неопределенности Н(р₁ ... р_i ... р_N): она должна быть непрерывной функцией вероятностей состояний источника р₁ ... p_i ... р_N с соблюдением условия

Наибольшее  ее значение 1 должно достигаться при равенстве вероятностей всех состояний.

Кроме того, Н(р₁…ρ_N) должна являться функционалом распределения вероятностей.

Мера  неопределенности выбора дискретным источником состояния из ансамбля U, удовлетворяющая указанным условиям, была предложена американским ученым К. Шенноном [36]. Ее называют энтропией дискретного источника информации или энтропией конечного ансамбля:

    (8)

где С – произвольное положительное число.

К. Шенноном высказано, а советским ученым Л. Я. Хинчиным математически строго доказано утверждение, что это единственный функционал, удовлетворяющий сформулированным условиям.

Ориентируясь на измерение неопределенности в двоичных единицах, основание логарифма принимают равным двум, а С= 1. Тогда из (8)

    (9)

Мера К. Шеннона позволяет учесть статистические свойства источника информации.

Рассмотрим  основные свойства энтропии, обратив  внимание на то, что сформулированные условия для меры неопределенности выполняются.

1. Энтропия является вещественной и неотрицательной величиной, так как для любого i(1 ) р_i изменяется в интервале от 0 до 1, log p_i отрицателен и, следовательно, – p_i log p_i положительна.
2. Энтропия – величина  ограниченная.   Если вероятность стремится к 0, то и энтропия стремиться к 0.
3. Энтропия  равна нулю только том случае, если вероятность одного из состояний равна единице; тогда вероятности всех остальных состояний, естественно, равны нулю. Это   положение   соответствует случаю, когда состояние источника полностью определено.
4. Энтропия принимает максимальное значение 1, если все состояния источника равновероятны.
5. Энтропия источника с двумя состояниями u₁ и u₂ изменяется от нуля до единицы, достигая максимума при равенстве их вероятностей.

6. Энтропия объединения нескольких  статистически независимых источников  информации равна сумме энтропии  исходных источников.

7. Энтропия характеризует среднюю  неопределенность выбора одного  состояния из ансамбля. При ее  определении используют только  вероятности состояний, полностью  игнорируя их содержательную  сторону. Поэтому энтропия не  может служить средством решения  любых задач, связанных с неопределенностью.  Например, при использовании этой  меры для оценки неопределенности  действия лекарства, приводящего  к полному выздоровлению больных  в 90 % случаев и улучшению самочувствия  в остальных 10 % случаев, она  получится такой же, как и у  лекарства, вызывающего в 90 % случаев  смерть, а в 10 % – ухудшение состояния больных.

8. Энтропия как мера неопределенности  согласуется с экспериментальными  данными, полученными при изучении  психологических реакций человека, в частности реакции выбора. Установлено,  что время безошибочной реакции  на последовательность беспорядочно  чередующихся равновероятных раздражителей  (например, загорающихся лампочек) растет  с увеличением их числа так  же, как энтропия. Это время характеризует  неопределенность выбора одного  раздражителя.

Замена  равновероятных раздражителей неравновероятными  приводит к снижению среднего времени  реакции ровно настолько, насколько  уменьшается энтропия.

2.2. Количественная оценка информации непрерывного источника. Дифференциальная энтропия

 

Математическая  модель непрерывного источника определяется статистическими характеристиками вырабатываемых им информационных сигналов.

Стационарный эргодический источник без памяти – это источник, вырабатывающий стационарный эргодический случайный сигнал , сечения которого в различные моменты времени являются статистически независимыми случайными величинами.

Энтропию  одного сечения U сигнала на выходе стационарного эргодического источника можно найти, если разбить диапазон возможных значений случайной величины U на малые интервалы и ввести дискретную случайную величину , принимающую значения (i = 1, 2, …m) с вероятностями , где одномерная плотность вероятности случайной величины U; – среднее значение i-го интервала. При этом энтропия дискретной случайной величины в соответствии с классической формулой для энтропии дискретного источника без памяти [1, 2, 7, 12, 17, 19]

, \* MERGEFORMAT ()

где – независимые символы источника, вырабатываемые с вероятностями , может быть записана в виде

 \* MERGEFORMAT ()

По мере уменьшения длины интервала  свойства дискретной случайной величины все больше приближаются к свойствам непрерывной случайной величины U и поэтому предельный переход в формуле при приводит к выражению для энтропии сечения U:

. \* MERGEFORMAT ()

Первое слагаемое  в правой части соотношения  имеет конечное значение и полностью определяется видом одномерной плотности распределения сигнала . Второе слагаемое зависит только от величины интервала и при стремится к бесконечности [1 – 6, 20 – 21].

В качестве меры неопределенности непрерывного источника  используется первое слагаемое в , которое называется дифференциальной (относительной, приведенной) энтропией и имеет вид [1 – 6, 20 – 21]

. \* MERGEFORMAT ()

2.3. Свойства дифференциальной энтропии

Дифференциальная  энтропия имеет следующие свойства:

1. Дифференциальная  энтропия не может служить  абсолютной мерой неопределенности  непрерывного источника. Однако  при сравнении, например, абсолютных  энтропий  различных источников, энтропий отсчетов сигналов на входе и выходе канала связи и т. д. второе слагаемое в выражении при вычислении соответствующих разностей сокращается, и информационные свойства полностью определяются разностью соответствующих дифференциальных энтропий (отсюда и название – дифференциальная энтропия).

2. Дифференциальная  энтропия является относительной  мерой неопределенности, и ее  значение зависит от масштаба  случайной величины U, а следовательно, и от выбора единиц ее измерения. Так, при изменении масштаба в k раз, что соответствует переходу к случайной величине , дифференциальная энтропия составит

. \* MERGEFORMAT ()

Действительно, если U – непрерывная случайная величина с плотностью распределения и случайная величина V связана с U функциональной зависимостью

,

то  при условии, что  является монотонно возрастающей или убывающей функцией на всем участке изменения u, плотность распределения случайной величины V определяется выражением

, \* MERGEFORMAT ()

где – функция, обратная функции ; .

В соответствии с 

,

обратная  функция составляет

и, следовательно,

.

Таким образом, в соответствии с формулой ,

.

Подставляя  полученное распределение в соотношение  для дифференциальной энтропии, получаем

Проведя замену переменных , так что , , и выполняя интегрирование, из полученного выражения окончательно имеем

,

что совпадает с выражением .

3. Дифференциальная  энтропия, в отличие от энтропии  дискретного источника, наряду  с нулевыми и положительными  значениями также может принимать  и отрицательные значения.

4) Дифференциальная  энтропия не изменяется, если  к случайной величине U прибавить некоторую постоянную величину c, т. е. при переходе к случайной величине дифференциальная энтропия составит

. \* MERGEFORMAT ()

Отсюда  следует, что дифференциальная энтропия не зависит от значения математического  ожидания случайной величины U, и случайные величины, отличающиеся только математическими ожиданиями, имеют одинаковые дифференциальные энтропии.

Для доказательства учтем, что в соответствии с этой формулой и, следовательно, , .

Поскольку из выражения  вытекает, что , соотношение дает окончательный результат

5. Если единственным  ограничением для случайной величины U является область ее возможных значений , то максимально возможной дифференциальной энтропией, равной

, \* MERGEFORMAT ()

обладает  случайная величина с равномерным  распределением вероятностей

 

 \* MERGEFORMAT ()

6. Если ограничения  на область определения случайной  величины U отсутствуют, но ее дисперсия ограничена, то максимально возможной дифференциальной энтропией, равной

 

, \* MERGEFORMAT ()

обладает  нормальная случайная величина с  нормальной плотностью распределения  вероятностей и любым, в частности нулевым, математическим ожиданием.

Для доказательства свойства используем метод вариационного исчисления.

Если требуется  найти максимум (или минимум) интеграла

 \* MERGEFORMAT ()

при дополнительных условиях

 \* MERGEFORMAT ()

то  функция  , доставляющая экстремум интеграла , находится из решения уравнения Эйлера

, \* MERGEFORMAT ()

где – некоторые константы (неопределенные множители Лагранжа), которые определяются путем подстановки функции , являющейся решением уравнения , в равенства .

В данном случае требуется найти такую функцию  , при которой интеграл в выражении

 \* MERGEFORMAT ()

достигает максимума при ограничивающих условиях

 и  , \* MERGEFORMAT ()

где принято, что математическое ожидание .

Согласно  – соответствующие функции имеют вид

,

, ,

их  производные составляют

, , ,

а уравнение  Эйлера задается соотношением

, \* MERGEFORMAT ()

из  которого следует

. \* MERGEFORMAT ()

Для определения  неизвестных  и сначала подставим решение в первое условие :

. \* MERGEFORMAT ()

Отмечая, что  величина должна быть отрицательной, поскольку в противном случае интеграл в расходится, и, используя табличное значение интеграла , из получаем

или

.

Тогда решение  принимает вид

. \* MERGEFORMAT ()

Подставляя  во второе условие и используя табличный интеграл , получаем

и, следовательно,

. \* MERGEFORMAT ()

Наконец, подставляя значение в , окончательно имеем

,

что соответствует нормальному распределению  при .

Вычислить дифференциальную энтропию случайной величины U с нормальным распределением вероятностей .

Подставляя  плотность  под знак логарифма в формуле , получаем

 \* MERGEFORMAT ()

Так как  и в соответствии с формулой для дисперсии , из последнего выражения окончательно имеем

, 

что совпадает с соотношением .