Системы видеоконференц связи

Требования конкретного приложения также влияют на выбор типа кадров: ключевые кадры, переключение каналов, индексирование программ, восстановление от ошибок и т.д.

Коэффициенты сжатия.

Коэффициент сжатия MPEG видео часто  заявляется как 100:1, тогда как в действительности он находится в районе от 8:1 до 30:1.

Можно получить "более 100:1" для  видео на компакт-диске (White Book) с потоком 1.15 Мбит/с.

1 Высокое разрешение исходного видео.

Большинство источников видеосигнала для кодирования  имеют большее разрешение, чем  то, которое актуально оказывается  в закодированном потоке. Самый популярный студийный сигнал, известный как цифровое видео "D-1" или "CCIR 601", кодируется на 270 Мбит/с.

Цифра 270 Мбит/с получается из следующих вычислений:

Интенсивность (Y):858 точек/линию x 525 линий/кадр x 30 кадр/с x 10 бит/точку ~= 135 Мбит/сR-Y (Cb):429 точек/линию x 525 линий/кадр x 30 кадр/с x 10 бит/точку ~= 68 Мбит/сB-Y (Cb):429 точек/линию x 525 линий/кадр x 30 кадр/с x 10 бит/точку ~= 68 Мбит/сИтого:27 млн. точек/с x 10 бит/точку = 270 Мбит/с

2 Следует выбросить гасящие интервалы.

Из 858 точек яркости на линию  под информацию изображения задействованы только 720. В действительности, количество точек на линию - предмет многих ссор на инженерных семинарах, и это значение лежит в пределах от 704 до 720. Аналогично, только 480 линий из 525 задействованы под изображение по вертикали. Настоящее значение лежит в пределах от 480 до 496. В целях совместимости MPEG-1 и MPEG-2 определяет эти числа как 704х480 точек на интенсивность и 352х480 для цветоразностей. Пересчитывая исходный поток, будем иметь:

Y704 точек/линию x 480 линий x 30 кадр/с x 10 бит/точку ~= 104 Мбит/сC2 компоненты x 352 точки/линию x 480 линий x 30 кадр/с x 10 бит/точку ~= 104 Мбит/сИтого:~ 207 Мбит/сОтношение (207/1.15) составляет всего 180:1.

3 Следует учесть большее количество бит/точку.

В MPEG на точку отводится 8 бит. Принимая во внимание этот фактор, отношение  становится 180 * (8/10) = 144:1.

4 Учтем более высокое разрешение цветности. Известный студийный сигнал CCIR-601 представляет сигнал цветности с половинным разрешением по горизонтали, но с полным вертикальным разрешением. Это соотношение частот оцифровки известно как 4:2:2. Однако, MPEG-1 и MPEG-2 Main Profile устанавливают использование формата 4:2:0, который считается достаточным для бытовых приложений. В этом формате разрешение цветоразностных сигналов в 2 раза меньше по горизонтали и вертикали, чем интенсивность. Таки образом, имеем:

720 точек x 480 линий x 30 кадр/с x 8 бит/отсчет x 1.5 остчетов/точку = 124 Мбит/с, и, таким образом,  отношение становится 108:1.

5 Учтем размер кодируемого изображения.

Последняя стадия предварительной  обработки - это преобразование кадра  формата CCIR-601 в формат SIF уменьшением  в 2 раза по горизонтали и вертикали. Всего в 4 раза. Качественное масштабирование  по горизонтали выполняется с  помощью взвешенного цифрового  фильтра с 7 или 4-мя узлами, а по вертикали - выбрасыванием каждого второй линии, второго поля или, опять, цифровым фильтром, управляемым алгоритмом оценки движения между полями. Отношение теперь становится 352 точек x 240 линий x 30 кадр/с x 8 бит/отсчет x 1.5 отсчетов/точку ~= 30 Мбит/с.

Таким образом, настоящее отношение A/B должно вычисляться между исходной последовательностью  в стадии 30 Мбит/с перед кодированием, поскольку это есть действительная частота оцифровки, записываемая в заголовках потока и воспроизводимая при декодировании. Так, сжатия можно добиться уже одним сокращением частоты оцифровки.

6 Частота кадров.

Большинство коммерческих видеофильмов снимаются с киноленты, а не с  видео. Основная часть фильмов, записанных на компакт-диски, была оцифрована и  редактирована при 24 кадрах в секунду. В такой последовательности 6 из 30 кадров, отображаемых на телевизионном мониторе (30 кадр/с или 60 полей/с а NTSC), фактически избыточна, и может быть не кодирована в MPEG поток. Это ведет нас к шокирующему выводу, что действительный поток был всего 24 Мбит/с (24 кадр/с / 30 кадр/с * 30 Мбит/с), и коэффициент сжатия составляет всего каких-то 21:1.

Даже при таком  коэффициенте сжатия, как 20:1, несоответствия могут  возникнуть между исходной последовательность изображений и восстановленной. Только консервативные коэффициенты в районе 12:1 и 8:1 демонстрируют почти полную прозрачность процесса сжатия последовательностей с сложными пространственно-временными характеристиками (резкие движения, сложные текстуры, резкие контуры и т.д.). Несмотря на это, правильно закодированное видео с использованием предварительной обработки и грамотного распределения битов, может достигать и более высоких коэффициентов сжатия при приемлемом качестве восстановленного изображения [2].

Сжатие видео

При сжатии видео используются следующие  статистические характеристики:

1 Пространственная корреляция: дискретное косинусное преобразование 8х8 точек.

2 Особенности человеческого зрения - невосприимчивость к высокочастотным составляющим: скалярное квантование коэффициентов ДКП с потерей качества.

3 Большая пространственная корреляция  изображения в целом: предсказание  первого низкочастотного коэффициента  преобразования в блоке 8х8 (среднее  значение всего блока).

4 Статистика появления синтаксических элементов в наиболее вероятном кодируемом потоке: оптимальное кодирование векторов движения, коэффициентов ДКП, типов макроблоков и пр.

5 Разряженная матрица квантованных коэффициентов ДКП: кодирование повторяющихся нулевых элементов с обозначением конца блока.

6 Пространственное маскирование: степень квантования макроблока.

7 Кодирование участков с учетом содержания сцены: степень квантования макроблока.

8 Адаптация к локальным характеристикам изображения: кодирование блоков, тип макроблока, адаптивное квантование.

9 Постоянный размер шага при адаптивном квантовании: новая степень квантования устанавливается только специальным типом макроблока и не передается по умолчанию.

10 Временная избыточность: прямые и обратные векторы движения на уровне макроблоков 16х16 точек.

11 Кодирование ошибки предсказаний макроблоков с учетом восприятия: адаптивное квантование и квантование коэффициентов преобразования.

12 Малая ошибка предсказания: для макроблока может быть сигнализировано отсутствие ошибки.

13 Тонкое кодирование ошибки предсказания на уровне макроблоков: каждый из блоков внутри макроблока может быть кодирован или пропущен.

14 Векторы движения - медленное движение фрагмента изображения со сложным рисунком: предсказание векторов движения.

15 Появления и исчезновения: прямое и обратное предсказание в B- фреймах.

16 Точность межкадрового предсказания: билинейно интерполированные (фильтрованные) разности блоков. В реальном мире движения объектов от кадра к кадру редко попадают на границы точек. Интерполяция позволяет выяснить настоящее положение объекта, зачастую увеличивая эффективность сжатия на 1 дБ.

17 Ограниченная активность движения в P - фреймах: пропущенные макроблоки. Когда вектор движения и ошибка предсказания нулевые. Пропущенные макроблоки очень желательны в кодированном потоке, поскольку не занимают битов, кроме как в заголовке следующего макроблока.

18 Компланарное движение в B - фреймах: пропущенные макроблоки. Когда вектор движения тот же, а ошибка предсказания нулевая.

Стандарт MPEG-2 [10] полностью перекрывает  стандарт MPEG-1 и содержит новые, более  строгие нормы, ориентированные  на требования телевизионного вещания. Например, он поддерживает чересстрочную  развертку, как в аналоговом телевидении. Широкое распространение стандарта MPEG-2 способно привести к цифровой революции  в области видео, которую давно  ожидают и которая будет сравнима с цифровой революцией в области  аудио, свершившейся в последнее  десятилетие.

Хорошие рыночные перспективы имеются  у всех описанных выше стандартов: JPEG, H.261 и MPEG.

Так, формат JPEG лучше всего применять  для неподвижных изображений, а  также для видеомонтажа, если требуется  высокая точность монтажа отдельных  кадров. Стандарт MPEG годится для  видеопродукции, потребитель которой  ждет качества изображения, сравнимого с качеством изображения на бытовой  аналоговой видеокассете: компьютерных обучающих материалов, игр, кинофильмов  на CD, а также видео по требованию (video on demand). Для на сегодняшний день чаще всего используется стандарт H.261, так как для них не требуется видеоизображения очень высокого качества.

Стандарт Cell

Компания Sun Microsystems предложила свой стандарт компрессии видеоизображения -- Cell. Существуют два метода компрессии по этому стандарту: CellA и CellB. Метод CellA требует большей вычислительной мощности для компрессии/декомпрессии сигнала, чем метод CellB. Поэтому в системах ВКС, требующих работы видео в реальном времени, используется метод CellB. В этом методе изображение делится на 4х4 группы пикселов, называемых ячейками (cell). В основу алгоритма компрессии положен метод BTC (Block Truncation Coding). 16 пикселов в каждой ячейке преобразуются в 16-битовую маску цветности и две 8-битовых маски интенсивности, поэтому для кодировки 384 битов требуются всего 32 бита. Это означает степень сжатия 12:1. Преимущество метода Cell заключается в том, что в процессе декомпрессии можно использовать графические примитивы Windows-подобных систем. Такие примитивы выполняются аппаратно стандартными графическими акселераторами, что позволяет пользоваться аппаратной декомпрессией, используя стандартное оборудование, уже установленное в компьютере.

Стандарт NV

Подразделение PARC компании Xerox предложило метод компресии NV (Network Video). Метод используется чаще всего в системах телеконференций, работающих в Internet. На первом шаге алгоритма текущее изображение сравнивается с предыдущим и выделяются области, в которых произошли значимые изменения. Компрессии и последующей пересылке подвергаются только эти области. В зависимости от того, что является лимитирующим фактором -- полоса пропускания канала связи или вычислительная мощность оборудования, для компрессии используются либо преобразование Фурье, либо преобразование Гаара. После квантования преобразованного изображения достигается степень сжатия до 20:1.

Стандарт CU-SeeMe

В экспериментальной системе видеоконференций CU-SeeMe, разработанной в Корнуэлльском университете, входное изображение представляется 16 градациями серого цвета с 4 битами на пиксел. Изображение разбивается на блоки пикселов общим количеством 8х8. Кадр сравнивается с предыдущим, и пересылаются только блоки, в которых произошли значимые изменения. Компрессия этих блоков происходит по алгоритму сжатия без потерь, разработанному специально для системы CU-SeeMe. С учетом возможных потерь данных в канале связи периодически пересылаются и неизменившиеся блоки. Степень сжатия изображения составляет 1,7:1. Алгоритм компрессии изначально был разработан для аппаратно-программной платформы Macintosh. Он работает с восемью 4-битными пикселами как 32-битными словами. Для системы CU-SeeMe минимальная пропускная способность канала связи должна быть не ниже 80 Кбит/с.

Стандарт Indeo

Фирма Intel разработала метод компрессии/декомпрессии Indeo. В основе метода лежит расчет изображения текущего кадра по данным предыдущего. Передача кадра происходит только в том случае, если расчетные значения значимо отличаются от реальных. Компрессия осуществляется по методу 8х8 FST (Fast Slant Transform), в котором используются только алгебраические операции сложения и вычитания. Степень сжатия в методе Indeo составляет 1,7:1.

Стандарты компрессии/декомпрессии аудиосигнала

Методы ИКМ 

Некоторые стандарты компрессии аудиосигнала основаны на технологии оцифровки звука, называемой импульсно-кодовой модуляцией или ИКМ [4](PCM, pulse code modulation). Аналоговый звуковой сигнал дискретизируется по времени и квантуется по амплитуде. Чем большее количество бит используется для квантования по амплитуде, тем более высококачественным будет воспроизведение звука. Если использовать логарифмический шаг квантования, то звук, квантованный 8 битами, будет соответствовать по качеству звуку, квантованному 14 битами с равномерным шагом. При этом степень сжатия сигнала составит 1,75:1. Известны два метода логарифмического квантования: A-law PCM и mu-law PCM. Mu-law PCM используется в США и Японии на цифровых линиях связи ISDN. В других странах на линиях ISDN используется метод A-law PCM. Оба метода вошли в рекомендацию стандарта G.711 ITU-TSS и требуют минимальной пропускной способности канала не ниже 64 Кбит/с.

В методе импульсно-кодовой модуляции  при временной дискретизации  аудиосигнала соседние по времени аудиоимпульсы кодируются независимо друг от друга. Но, как правило, амплитуду каждого импульса можно предсказать с большой долей вероятности, используя значение амплитуды предыдущего импульса. В методе адаптивной дифференциальной импульсно-кодовой модуляции ADPCM (Adaptive Differential Pulse Code Modulation) рассчитывается разница между амплитудой каждого импульса и его рассчитанным по предыдущему импульсу значением. Для кодировки такой разницы требуется всего 4 бита, поэтому в методе ADPCM степень компрессии аудиосигнала составляет 2:1. ITU-TSS рекомендует несколько стандартов, основанных на методе ADPCM - G.721, G.722, G.723, G.726, G.727. В методе G.722 используется "двухуровневый" ADPCM (Sub-Band ADPCM) со степенью дискретизации 16 КГц, 14 бит на кодировку разницы сигналов. Метод предназначен для пропускной способности канала не ниже 64 Кбит/с.

Компрессия/декомпрессия голоса

Для кодировки  только человеческого голоса могут  использоваться некоторые специальные  методы. При кодировании методом  линейного предсказания LPC (Linear Predictive Coding) реальная речь накладывается на аналитическую модель голосового тракта. По каналу связи передаются только "параметры наилучшего совпадения", которые при декодировании используются для генерации синтетического голоса, близкого по звучанию к оригиналу. Для LPC-кодировки требуется полоса пропускания не ниже 2,4 Кбит/с. Развитие метода LPC, метод линейного предсказания с возбуждением кодов CELP (Code Excited Linear Prediction), использует такую же аналитическую модель голосового тракта, как и в методе LPC. Но в методе CELP рассчитываются отклонения между исходной речью и аналитической моделью. По каналам связи передаются параметры модели и отклонения. Отклонения представлены как индикаторы. Индикаторы заносятся в общую книгу кодов, которая доступна кодировщику и декодировщику. Дополнительные данные в виде индикаторов позволяют добиться декодированного сигнала более высокого качества, чем при простой кодировке LPC. CELP требует пропускной способности канала не ниже 4,8 Кбит/с. В качестве стандарта G.728 ITU-SS предложен метод LD-CELP (Low Delay CELP), для которого требуется полоса пропускания не менее 16 Кбит/с. Метод LD-CELP требует большой вычислительной мощности и специальных аппаратных средств.