Сравнение локальных дескрипторов при локализации контрольных точек на лице

УДК 004.93

Сравнение локальных  дескрипторов при локализации контрольных  точек на лице

М.В.Жиденко¹

 

¹Студент, МГТУ им. Н.Э. Баумана, г. Москва, Россия

Научный руководитель: А.В. Самородов, к.т.н., доцент кафедры «Биомедицинские технические системы»

Ключевые  слова: локальный дескриптор, вектор признаков, локализация контрольных точек лица, local descriptor, feature vector, localization of facial points.

Аннотация: Данная статья посвящена краткому обзору и сравнению локальных дескрипторов, используемых для описания текстурных особенностей окрестности контрольных точек на изображениях. Рассмотрены дескрипторы на основе гауссовых фильтров, SIFT и самоподобных преобразований. Приведены результаты исследования качества локализации контрольных точек лица с использованием вышеперечисленных дескрипторов.

Введение

Локальные дескрипторы представляют собой вектора признаков, построенные  по отдельным фрагментам изображения. Дескрипторы нашли успешное применение во многих областях: распознавание объектов, распознавание текстуры, поиск изображений, сравнение изображений, создание панорам, распределение объектов по категориям, интеллектуальный анализ видеоданных. Практически важный интерес представляет использование локальных дескрипторов для локализации контрольных точек на изображении лица человека в условиях наличия дополнительных факторов, таких, как отклонение ракурса головы от фронтального, изменение направления взгляда и пр. В данной статье  приведены результаты исследования пригодности трех наиболее распространенных локальных дескрипторов для решения указанной задачи.

Локальные дескрипторы

1. Вычисление первого локального дескриптора основано на алгоритме выделения локальных текстурных признаков в окрестности КТ с помощью фильтров Гаусса [1]. Фильтр представляет собой набор из 16-ти т.н. ядер, каждое из которых чувствительно только к одному из 16-ти направлений изменения текстуры и находится как разность между двумя функциями Гаусса, см. рисунок 1:

,

 

где - СКО, f_k – угол поворота, , k=0..15, .

Рис 1. Вид функции Гаусса для различных направлений. а) угол f=0o, б) угол f=157.5o

Далее происходит вычисление свертки по всей области интереса по следующей формуле:

,

где C_ij представляет собой набор цветовых параметров изображения.

В оригинальной работе [1] в качестве используемых цветовых параметров изображения лица рассматриваются «тон», «насыщенность» и «яркость», однако, как показали проведенные исследования данного алгоритма, достаточно использовать однотонное изображение с 256 градациями серого. Максимальный отклик среди 16-ти значений CE_ijfk определяет максимальное изменение локальной границы вокруг данной точки.

Вектор текстурных признаков  пикселя изображения состоит  из 49 элементов. На рисунке 2 показано, в каком виде рассматривается окрестность точки (Ψ= 22.5^о), Каждый узел сетки – это результат свертки окрестности данного узла с описанным выше фильтром. Расстояния R₀, R₁ и R₂ выбираются исходя из практических соображений.

Рис 2. Вычисление текстурных признаков контрольной точки

Сравнение вектора текстурных признаков текущей точки с шаблонным происходит путем вычисления меры K:

,

где A_ij является значением свертки для j-ой ориентации в конкретной области для i-ой точки входного окна,

b – шаблонный вектор текстурных признаков,

rw – текущий вектор текстурных признаков,

 

Пороговое значение подобрано  эмпирически и принято равным 0,2. Чем выше полученное значение меры К, тем больше схожесть окрестности рассматриваемой точки с шаблонной, полученной при обучении.

2. Следующий рассмотренный дескриптор основан на преобразовании SIFT [2] (Scale Invariant Feature Transform). Получаемые с помощью него признаки инвариантны относительно масштаба и поворота, устойчивы к ряду аффинных преобразований, шуму, изменению в освещении. Данный алгоритм можно разделить на две части: определение «точек интереса» и построение дескрипторов окрестностей данных точек. Существует несколько способов определения точек интереса. Алгоритм, предложенный в рамках SIFT, один из самых известных. Он заключается в построении и использования пирамиды Гаусса изображения. Все изображения из указанной пирамиды приводятся к одному размеру, и вычисляется их разность, как показано на Рисунке 3. В качестве кандидатов точек интереса выбираются только те пиксели, которые сильно отличаются от остальных. Их поиск осуществляется путем сравнения каждого пикселя изображения с несколькими соседними на данном масштабе, с несколькими соответствующими соседями в большем и меньшем масштабе (Рисунок 3). Пиксель выбирается в качестве точки интереса только в том случае, если значение его интенсивности является экстремумом.

Рис 3. Процесс нахождения точек интереса

Далее для каждой точки  интереса вычисляется локальный  дескриптор, характеризующий направление  градиентов в пикселях некоторой  его окрестности, как показано на рисунке 4.

Рис 4. Гистограммы градиентов Lowe (SIFT)

Основным недостатком  SIFT дескрипторов является их высокая размерность (128 значений на точку) и большое количество точек интереса на изображении. Для преодоления данного недостатка в работе [3] предложен метод PCA-SIFT, основанный на снижении размерности дескриптора с помощью метода главных компонент.

3. Все вышеописанные локальные дескрипторы используют общую парадигму, заключающуюся в нахождении точек интереса и построении для каждой из них дескриптора, описывающего ее окрестность. Принципиально другой подход описан в работе [4]. Он основан на свойстве повторяемости (самоподобия) фрагментов на изображении, то есть на наблюдении, что небольшие фрагменты изображения имеют свойство повторяться на нем в том же или другом масштабе. Информация о такой повторяемости в пределах некоторой области изображения формирует так называемую геометрическую разметку. С помощью данной геометрической разметки формируются самоподобные локальные дескрипторы.

Процесс вычисления данного  дескриптора можно разбить на несколько этапов [4]:

• Вычисление «поверхности расстояний». В качестве «эталона» используется область размером 5x5 пикселей вокруг рассматриваемой точки. С использованием данного эталона рассчитывается «сумма квадратов расстояний между значениями интенсивностей» (SSD_q) по области размером 41x41 пикселей вокруг рассматриваемой точки.
• Вычисление «корреляционной поверхности». Выполняется нормировка поверхности расстояний SSD_q в соответствии с соотношением:

 

   

где varnoise – константа, которая указывает допустимые вариации (в цвете, освещении или допустимый шум); varauto(q) – зависит от контраста фрагмента и его структуры и определяется как максимальная разница между фрагментом с центром в q и фрагментами в центрах q1,..q8, где q1,..q8 соседи пикселя q. Отсчеты результирующей «корреляционной поверхности» рассчитываются как экспоненциальные значения :

.

• Построение дескриптора. Полученная «корреляционная поверхность» разбивается на 20 секторов и 4 значения радиуса в логарифмических полярных координатах. В каждой области ищется максимум корреляционной поверхности, который является отсчетом дескриптора (рисунок 5).

Рисунок 5. Вычисление самоподобного локального дескриптора [4]

Мера подобия двух дескрипторов вычисляется по формуле, приведенной в работе [5]:

,

где S_D – константная матрица ковариаций, которая определяет допустимое отклонение значений дескрипторов.

Тестирование  дескрипторов

Тестирование проводилось  на двух базах изображений. Одна из них – IMM Face Database [6]Ю – представляет собой набор фотографий 40 различных людей, снятых под разными ракурсами и при изменении освещении. Вторая – собранная в НИИЦ БТ МГТУ им. Н.Э. Баумана – видеофрагменты 4 разных людей, совершающих различные движения глазами и головой: моргание, взгляд вверх, влево и вправо, наклоны головы вперед и назад, отклонения головы вправо и влево, повороты головы вправо и влево. В качестве контрольных точек были выбраны внешние углы глаз, вершина носа, углы рта. Оценка проводилась путем вычисления евклидового расстояния между координатами найденных точек и размеченными вручную координатами. Для базы IMM обучение проводилось на изображении того же человека, снятого фронтально без эмоций. Для второй выборки обучение проводилось на первом кадре видеофрагмента для конкретного движения. Все алгоритмы реализованы в среде разработки Matlab. Результаты тестирования для IMM представлены в таблицах 1-3. Числовые значения, представленные в таблицах – евклидовы расстояния между найденными положениями контрольных точек и действительными, установленными визуально.

Таблица 1. Не нейтральное выражение лица (улыбка)

	Правый глаз	Левый глаз	Правый угол рта	Левый угол рта	Все точки вместе
Гауссовы фильтры	3,42	3,18	6,04	4,84	17,48
SIFT	3,93	3,71	8,07	8,92	24,63
Самоподобный дескриптор	4,16	3,83	5,98	6,56	20,52

 

Таблица 2. Поворот головы вправо ~30-40^о

	Правый глаз	Левый глаз	Правый угол рта	Левый угол рта	Все точки вместе
Гауссовы фильтры	5,58	9,54	3,8	3,24	22,16
SIFT	7,65	10,32	8,95	8,48	35,39
Самоподобный дескриптор	4,67	9,65	5,61	3,6	23,54

 

Таблица 3. Изменение освещения

	Правый глаз	Левый глаз	Правый угол рта	Левый угол рта	Все точки вместе
Гауссовы фильтры	2,99	2,62	2,78	2,52	10,9
SIFT	5,87	5,23	4,27	4,18	19,54
Самоподобный дескриптор	3,77	3,82	2,99	2,62	13,19

 

Результаты тестирования дескрипторов на второй базе изображений лица представлены в таблице 4.

Таблица 4. Результаты тестирования базы изображений с различными движениями.

Номер движения	SIFT	Гауссовы фильтры	Самоподобный дескриптор	Движение
1	22,31967	23,64445	23,20511	моргание
2	18,49111	20,26788	21,69701	взгляд вверх
3	17,33071	20,52258	19,20403	взгляд влево
4	17,58264	18,70621	19,20364	взгляд вправо
5	26,51935	37,58023	32,69188	отклонение головы вправо
6	25,74362	35,05964	33,76104	отклонение головы влево
7	42,98084	48,93646	50,78858	поворот головы вправо
8	47,21496	52,06191	50,61911	поворот головы влево
9	58,7592	64,26434	71,15198	наклон головы вперед
10	42,31121	48,54333	42,51209	наклон головы назад