Распознавание символов на номерном знаке автотранспорта

 

Пиксель 1, соединённый  с пикселями 2-4, является вершиной графа. Стоимость перехода от одной вершины  графа к другой равна модулю разности значений интенсивности в этих точках. Устанавливая начальные вершины  в разных точках верхней строки изображения, будем вычислять стоимость путей  до нижней строки. Отметим, что преимуществом  такого подхода является отсутствие какого-либо порогового значения. Однако число операций, необходимое для расчёта всех путей, весьма велико. Поэтому проведём оптимизацию алгоритма следующим образом: 
 1) Зная количество символов номерного знака и ширину и высоту выделенной области, оценим минимальную ширину W отдельного символа. 
 2) В качестве начальных вершин в верхней строке изображения будем выбирать каждый W/2 пиксель (рисунок, (а)).  
 3) Вычисляем пути, имеющие наименьшую стоимость для первого (крайнего левого) и последнего (крайнего правого) начальных пикселей. Помечаем их как “принадлежащие к пути” пиксели. (рисунок, (b)). 
 4) Выбираем из начальных пикселей тот, который находится посередине между двух “принадлежащих к пути” пикселей (рисунок, (с)). Вычисляем для него путь с наименьшей стоимостью и также помечаем его как “принадлежащий к пути” пиксель. 
 5) Если два пути с наименьшей стоимостью оканчиваются в одной и той же точке (рисунок, (d) и (e)), все начальные пиксели, лежащие между двумя этими путями, помечаются как “принадлежащие к пути”. 
 6) Если ещё остались начальные пиксели, не помеченные как “имеющие путь”, переходим к п.4.

После того, как  символы номерного знака отделены друг от друга, необходимо найти их точные контуры. Для этого воспользуемся  результатами бинаризации изображения и найдём средние значения и и стандартные отклонения и интенсивностей для пикселей, отнесённых при бинаризации к переднему плану (к символам) и к фону соответственно. Будем теперь последовательно рассматривать все полученные подобласти – части исходного изображения, соответствующие одному символу номерного знака. Все пиксели этих подобластей разделим на символьные, фоновые и неопределённые при помощи следующего алгоритма: 
 1) В начальный момент все пиксели подобласти считаются неопределёнными. 
 2) Все пиксели, интенсивность которых лежит в пределах стандартного отклонения от среднего значения , считаются символами. 
 3) Все неопределённые символы, примыкающие к верхней и нижней границам подобласти, считаются фоновыми. 
 4) Для оставшихся неопределённых пикселей находим разность между их интенсивностью и средними значениями и . В зависимости от полученных результатов классифицируем пиксель как символьный или фоновый. 
 Комбинированный метод сегментации символов номерного знака компенсирует недостатки основных методов сегментации, поэтому будет разумно сделать акцент на подробном изучении и возможной модернизации именно этого метода в дальнейшем.

3. Распознавание символов номерного знака.

Подавляющее большинство методов распознавания символов можно разбить на два больших класса: сравнение с шаблоном и классификация на основе выделенных характерных признаков.

3.1. Сравнение с шаблоном

Данный метод начинается с составления базы данных шаблонов изображений всех возможных символов номерного знака букв и цифр. В такую базу данных могут быть включены изображения как для одного, так и для целого ряда масштабов. Для распознавания очередного символа он приводится к одному из допустимых размеров и производится его последовательное сравнение с каждым из имеющихся шаблонов. 
Для уменьшения числа сравнений возможно вычисление каких-либо дополнительных характеристик, например количества замкнутых областей белого цвета в символе, предполагая, что сами символы черного цвета, и сравнение только с соответствующими шаблонами. В качестве меры сходства двух изображений обычно используется нормированный коэффициент перекрёстной корреляции^[5]. 
 Другой возможной мерой сходства является расстояние Хаусдорфа между объектами _и : 
 
где 
. 
 Расстояние Хаусдорфа можно вычислить с помощью морфологических операций. Для этого сначала выполняется дилатация объекта с помощью круглого структурирующего элемента радиусом Затем значение последовательно увеличивается до тех пор, пока результат дилатации не будет целиком включать в себя объект .  
После этого аналогичные действия проводятся с объектом и структурирующим элементом радиуса . Расстояние Хаусдорфа между и определяется как максимальное значение из и _. 
 Основной проблемой при использовании метрики Хаусдорфа является 
большое число вычислений, которое может быть уменьшено с помощью произведения 
так называемого преобразования расстояния . Для произвольного множества оно представляет собой трехмерную поверхность, определяемую следующей функцией:

 

 

 

 

Выражение это можно графически интерпретировать как процесс получения полутонового изображения. как это показано на рисунке. Отметим также. что преобразование расстояния для имеющихся шаблонов может быть получено заранее, сохранено в базе данных и в дальнейшем использовано при вычислениях.

 

Другой  недостаток расстояния Хаусдорфа, его высокая чувствительность к шуму, может быть устранен с помощью следующей модификации:

где

представляет собой среднее значение на множестве . 
 Таким образом, сравнение очередного символа номерного знака с имеющимися шаблонами производится путем вычисления величины . При этом необходимо принимать во внимание следующие соображения:

• приведение анализируемого изображения к определенному масштабу должно выполняться с сохранением аспектного отношения символа;

• небольшие отклонения могут быть учтены с помощью перемещений входного изображения влево и вправо на несколько пикселей. Это подразумевает вычисление модифицированного расстояния Хаусдорфа более одного раза и выбор минимального значения;

• допустимые малые изменения (±1 пиксель) масштаба шаблона (для чего также требуется вычислять несколько раз) позволяют довольно значительно улучшить степень правильного распознавания символов;

• если минимальное расстояние между символом и определенным шаблоном, полученное в результате всех сравнений, превышает наперед заданное пороговое значение, такой символ считается нераспознанным. 

 

 

3.2. Выделение характерных признаков

Символы номерного знака могут быть описаны многочисленными характерными признаками, различающимися степенью детализации изображения. При выделении большинства характерных признаков требуется, чтобы символы всегда имели одинаковый размер, для чего изображения обычно приводятся к одной и той же высоте. Это делается потому, что в то время как ширина всех символов на номерном знаке различна, высота должна оставаться неизменной. Далее представлены основные используемые характерные признаки и методы для их извлечения из изображения.

• Площадь. Для ее нахождения подсчитывается число фоновых пикселей изображения.

• Вертикальная и горизонтальная проекции. Вертикальные проекции являются более характерными для каждого символа. Горизонтальные проекции для цифр более схожи по своей структуре, имея или один широкий пик, или пики в начале и конце, что видно на рисунке.

• Концевые точки. Их расположение довольно сильно варьируется между символами и, следовательно, может быть использовано при распознавании. Например, цифра "6" имеет только одну концевую точку в верхней половине и ни одной в нижней. Хотя расположение таких точек меняется также и в горизонтальном направлении, часто бывает трудно правильно отнести найденную концевую точку к правой или левой половине изображения. Поэтому обычно рассматривают расположение концевых точек исключительно по вертикали. Концевые точки находятся при помощи построения остова символа толщиной один пиксель и определяются как те пиксели, которые имеют только одну связную компоненту в области, образованной восемью смежными пикселями. При построении остова символа необходимо использовать алгоритм, который не уничтожал бы истинных концевых точек, а, кроме того, не нарушал связности между пикселями, что может приводить к возникновению ложных концевых точек. Получающийся в результате остов содержит в себе даже самые мелкие структурные компоненты, что в ряде случаев приводит к нежелательным последствиям. Так, например, хотя цифра "0" не имеет концевых точек, она может быть идентифицирована как имеющая одну такую точку (смотри рисунок). Поэтому используемый алгоритм должен особым образом обрабатывать структуры длиной менее пикселей, где заданное значение, зависящее от конкретного изображения. 

 

• Периметр. Данная величина определяется путем подсчета пикселей, лежащих на внешней границе символа. Значение периметра является весьма устойчивым к шуму.

 

• Число составных частей. Каждый символ состоит из одной или нескольких частей, которые определяются как области, содержащие пиксели с одинаковыми значениями. Фоновые пиксели считаются составной частью только в том случае, когда они со всех сторон окружены пикселями символа. Например, из рисунка ниже видно, что “0” имеет две составные части, а “1” одну. Для определения числа составных частей используется свертка изображения с лапласианом и подсчет связных линий.

 

 

• Компоненты Кирша. Они представляют собой результаты применения градиентных операторов Кирша к исходному изображению. Всего существует четыре такие компоненты: горизонтальная, вертикальная, правая диагональная (из левого верхнего угла в правый нижний) и левая диагональная. Для пикселя введем следующие обозначения:

Тогда

где вычисляется по модулю 8. Общий вид градиента Кирша в точке  
определяется следующей формулой:

.

Мы будем рассматривать  частные случаи этого оператора для получения нескольких компонент:

• горизонтальная: ,

• вертикальная: ,

• правая диагональная: ,

• левая диагональная: .

Для вычисления этих операторов можно воспользоваться следующими масками:

• горизонтальная:  

 

• вертикальная:  

 

• правая диагональная:   

 

• левая диагональная:   

 

 

 

 

• Горизонтальные или вертикальные компоненты. В этом случае изображение сканируется в горизонтальном или вертикальном направлении m раз, как это показано на первом рисунке для m = 12. Результатом каждого такого сканирования являются чередующиеся последовательности белых и черных пикселей, которые можно объединить в двоичный вектор. При этом необходимо избавиться от имеющегося в изображении шума, который впоследствии может привести к ошибкам распознавания. Для этого измеряется длина каждой последовательности, и если она не превышает половины установленной заранее ширины линии, то такая последовательность считается шумом (смотри нижний рисунок). После того как шум устранен, каждый полученный вектор сравнивается с кодовыми словами, пример которых приведен на рисунке далее. В этих словах сочетания “п+b+п” или “b+п+b” означают комбинацию указанных выше последовательностей, где “п” и “b” соответствуют последовательностям, состоящим из чёрных и белых пикселей соответственно. Черта над символами обозначает, что данная последовательность имеет большую длину по сравнению с соседней. Такая кодировка позволяет различать схожие символы

(например, “1” и “7”).

 

3.3. Сравнение эффективности структурного  и шаблонного методов распознавания.

К достоинствам шаблонного метода относятся хорошее  распознавание дефектных символов («разорванных» или «склеенных»), простота и высокая скорость распознавания. 
Недостатком же является необходимость настройки системы на типы и размеры шрифтов. 
 Достоинства признакового метода таковы: данный метод позволяет распознавать различные начертания символов, т.е. различные подчерки шрифты и т.д. 
Недостатки: этот метод неизбежно вызывает некоторую потерю информации, весьма чувствителен к качеству изображения и возможным помехам. 
 Для дальнейшего изучения целесообразно выбрать шаблонный метод. Основанием для такого вывода послужило следующее: 
- этот метод устойчив к искажению данных, что нередко наблюдается на номерных пластинах в виде теней и грязи; 
- шаблонный метод имеет высокую скорость обработки данных; 
- имеется априорная информация о единственном возможном шрифте; 
- для хранения эталонов не требуется больших затрат памяти.

4. Итоговый анализ направлений дальнейшего исследования, таблицы эффективности методов.

Таблица 1. Предварительная  обработка.

Часть этапа предварительной обработки	Название метода/класса методов	Эффективность	Примечание
Устранение шума	Усредняющие фильтры	Высокая	Желательна модернизация фильтра для эффективного противодействия  импульсному шуму
	Фильтры, основанные на порядковых статистиках	Средняя	Возможно комбинирование с классом усредняющих фильтров
Бинаризация	Пороговая бинаризация	Низкая	-
	Адаптивная бинаризация	Средняя	-
	Комбинированная бинаризация	Высокая	-
Устранение рамки	Единый алгоритм устранения рамки номерной пластины	Высокая	Устранение рамок номерных знаков не имеет какого-либо серьёзного теоретического базиса, фактически эту задачу каждый решает самостоятельно, в данном случае был взят алгоритм из книги “Цифровая обработка видеоизображения” авторов А.А. Лукьяницы и А.Г. Шишкина