Распознавание символов на номерном знаке автотранспорта

Такой фильтр полезен при обнаружении  наиболее ярких точек на изображении. Кроме того, поскольку униполярный  «черный» импульсный шум принимает  минимальные значения, применение этого  фильтра приводит к уменьшению такого шума, так как в процессе фильтрации из окрестности S_xy выбирается максимальное значение. 
Использование 0-го процентиля приводит к фильтру, основанному на выборе минимального значения (или фильтру минимума):

Такой фильтр полезен  при обнаружении наиболее темных точек на изображении. Кроме того, применение этого фильтра приводит к уменьшению униполярного «белого» импульсного шума вследствие операции выбора минимума.

Фильтр срединной точки.

Применение  фильтра срединной точки заключается просто в вычислении среднего между максимальным и минимальным значениями в соответствующей окрестности:

.

Отметим, что этот фильтр объединяет в себе методы порядковых статистик и усреднения. Этот фильтр лучше всего работает при наличии  таких случайно распределенных шумов, как гауссов или равномерный.

Фильтр, основанный на вычислении усеченного среднего.

Предположим, что мы удалили d/2 наименьших и d/2 наибольших значений яркости из множества всех значений функции g(s,t) в окрестности S_xy. Пусть g_r(s,t) представляет собой оставшиеся элементы изображения, количество которых равно (mn - d). Фильтр, действие которого заключается в усреднении оставшихся значении, называется фильтром усеченного среднего:

причем значение d может изменяться в диапазоне от 0 до mn - 1. В случае d = 0, фильтр усеченного среднего сводится к среднеарифметическому фильтру, который рассматривался в предыдущем параграфе. В случае d/2 = (mn - 1)/2, фильтр превращается в медианный фильтр. Использование фильтра усеченного среднего с другими значениями d полезно в тех случаях, когда мы имеем дело с несколькими видами шума одновременно, например с комбинацией импульсного и гауссова шума.

1.1.4. Анализ и сравнение эффективности фильтров.

Изучение  достаточно большого опыта повсеместного практического применения описанных фильтров и их многочисленных комбинаций к изображениям, искажённым различными видами шума, позволяет сделать следующие выводы: 
 1. Для удаления гауссова шума наилучшими являются усредняющие фильтры. Медианный фильтр, к примеру, и различные его модификации не справляются в должной мере с удалением данного вида шума. 
 2. Для восстановления изображения, повреждённого импульсным шумом, более предпочтительно применение фильтров, основанных на порядковых статистиках, например медианного фильтра и различных его модификаций. 
 3. Если мы имеем дело с комбинированным шумом, сравнительную эффективность показывают комбинации фильтров из двух рассмотренных классов, однако при применении большого числа фильтров к изображению качество сильно искажается из-за потери резкости, что влечёт необходимость дополнительных действий по восстановлению резкости обработанного изображения. 
 В задаче распознавания номерного знака наиболее часто приходится иметь дело с гауссовым шумом, однако импульсный шум также иногда влияет на искажение изображения номерного знака вследствие возникновения помех.  
 Вывод: разумно будет в дальнейшем сделать приоритетным исследование модифицированных усредняющих фильтров, обладающих способностью справляться также с возникновением импульсного шума.

1.2. Бинаризации изображения.

Целью операции бинаризации является радикальное  уменьшение количества информации, содержащейся на изображении. В процессе бинаризации  исходное полутоновое изображение, имеющее некое количество уровней  яркости, преобразуется в черно-белое  изображение, пиксели которого имеют  только два значения яркости:  
0 (“чёрный”) и 1 (“белый”). 
 Теоретически, интересующая нас область включает символы одного цвета (например, чёрного) на фоне другого цвета (например, белого). Однако цвета заранее неизвестны и, кроме того, могут меняться от одного автомобиля к другому. Более того, обычно существуют нулевые градиенты интенсивности как в пределах самих символов, так и в фоновом изображении. Все это осложняет процесс бинаризации.

1.2.1. Методы бинаризации.

Существуют  различные подходы к бинаризации, которые условно можно разделить  на две группы: 
- пороговые методы бинаризации; 
- адаптивные методы бинаризации. 
 Пороговые методы бинаризации работают со всем изображением, находя какую-то характеристику (порог), позволяющую разделить все изображение на чёрное и белое. Адаптивные методы работают с участками изображений и используются при неоднородном освещении объектов. 
 Самый простой путь – просто подобрать некоторое пороговое значение и провести бинаризацию. Пороговое значение может вычисляться автоматически при помощи различных критериев. В качестве примера можно рассмотреть два распространённых подхода к выбору пороговых критериев бинаризации. 
 Первый подход предполагает, что вычисляется среднее значение интенсивности пикселей по всей поверхности изображения и производится дальнейшая пороговая обработка изображения. Все пиксели, интенсивность которых ниже порогового значения становятся черными, остальные – белыми. Данный алгоритм быстрый, но качество его работы оставляет желать лучшего. Проблема алгоритма: средняя интенсивность пикселей неоднородна по всей поверхности изображения. Это приводит к некорректной бинаризации. 
 Второй подход предполагает вычисление среднего значения интенсивности для сегмента изображения. При таком подходе проблема неравномерности интенсивностей будет решена. При этом данным подходом порождается новая проблема – так как средняя интенсивность смежных сегментов может различаться, то граничные пиксели, даже имея одинаковую интенсивность, в разных сегментах могут быть закрашены по-разному. Как следствие появляются искажения на границах сегментов. 
 Для решения данной проблемы применяется адаптивный подход к бинаризации. Среднее значение вычисляется для окрестности каждого пикселя. Благодаря этому возможно адекватно оценить интенсивность пикселя в соответствие с яркостью той области, в которой он находится, а также избежать каких-либо искажений при переходе от одного пикселя к другому. 
 Если обобщить вышесказанное, то в основном пороговые методы бинаризации работают со всем изображением, находя какую-то характеристику (порог), позволяющую разделить все изображение на чёрное и белое. Адаптивные методы, в свою очередь, работают с участками изображений и используются при неоднородном освещении объектов.

1.2.2. Анализ проблем применения основных методов бинаризации на практике.

В идеальном случае гистограмма^[3] полутонового изображения выделенной области имеет бимодальный характер. При этом один из типов гистограммы соответствует фону, а другой – символам номерного знака. В этом случае величина порога бинаризации может быть выбрана как минимум между двумя модами гистограммы, как это показано на рисунке.

В реальных ситуациях часто наблюдаются иные типы гистограмм:

• впадина между пиками  может быть очень широкой, что ведет к неопределенности при выборе порогового значения;

• мод может быть больше двух;

• гистограмма может быть унимодальной;

• один из пиков может существенно превышать другой.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Пример такой гистограммы приведен на рисунке ниже. Как нетрудно заметить,

гистограмма имеет пять максимумов, среди которых один изолированный глобальный

(5) и четыре локальных (1-4). Из анализа данной гистограммы весьма трудно найти

правильное пороговое значение. В действительности, на этом рисунке пиками,

отвечающими фоновым и переднеплановым пикселям, являются первый и третий

соответственно, а пороговое значение лежит между ними. Однако большинство

существующих методов пороговой обработки выберут другое значение, учитывая

глобальный минимум на распределении, вызванный в данном конкретном случае

сильным отражением.

К сожалению. такая ситуация является обычной в связи с неравномерными условиями освещения, довольно большим разнообразием номерных знаков автомобилей и их физическим состоянием. Использование адаптивной пороговой обработки приводит к лучшим результатам, но также не может быть признано в достаточной мере надежным. 
 
 
1.2.3. Комбинированный метод бинаризации. 

Имеет смысл воспользоваться следующим методом, который сочетает в себе лучшие черты различных пороговых методов.

Суть его заключается в следующем:

1. Вычисляется гистограмма выделенной области и проводится её сглаживание

путем последовательного применения гауссова фильтра.

2. Находятся нелокальные максимумы, которые определяются как пики,

отличающиеся от ближайших локальных минимумов не менее чем на величину Т, представляющую собой определённую долю вертикального разреза области.

3.  Если два наибольших нелокальных максимума соответствуют значениям

интенсивности I₁ и I₂, отличающимся не менее чем на (гистограмма имеет, по крайней мере, две моды), а медиана лежит между этими двумя максимумами, то

пороговое значение устанавливается равным 0.5 ·(I₁ + I₂).

Если разность этих двух наибольших нелокальных максимумов превышает

определенный предел , заданный как доля наибольшего из двух значений, то

пороговое значение корректируется с помощью введения весовых

коэффициентов.

_{4. Если два наибольших нелокальных максимума соответствуют значениям}

_{интенсивности, отличающимся менее  чем на} (принадлежат одной и той же моде),

или если медиана не лежит  между этими двумя пиками, то вместо второго максимума

ищется новый, который удовлетворял бы условиям из п.2. Если такой пик существует,

то переходим к п.3. Когда такой пик не найден (гистограмма унимодальна), то от

единственного максимума спускаемся до тех пор, пока ширина охватываемой части

гистограммы не достигнет 75% всего диапазона значений [0; 255] (отметим, что в п.1.

предполагается, что гистограмма была расширена на весь диапазон [0; 255] линейным

преобразованием). Выбираем пороговое значение в середине охватываемой части

гистограммы и сравниваем его с медианой. В том случае, когда эти значения близки, в

качестве окончательного оставляем выбранное пороговое значение. В противном

случае переходим к адаптивной пороговой обработке (п.5.).

5. Для каждого пикселя выбираем окрестность размером 3х3 и находим в ней

локальный диапазон интенсивности. Устанавливаем пороговое значение посередине

этого локального диапазона.

1.3. Устранение рамки. 

Область, выделенная на первом этапе обработки, помимо символов номерного знака  может также содержать изображение  ограничивающей номер рамки. Все  области, в которых присутствует номерной знак, можно разбить на три группы: 
– группа А (на изображении присутствует замкнутая рамка, ограничивающая символы номерного знака); 
– группа Б (на изображении небольшая часть рамки отсутствует); 
– группа В (на изображении присутствует только небольшая часть рамки).

Предположим, что после бинаризации  символы окрашены в чёрный цвет, а фон – в белый. Тогда процедура  классификации всех областей по указанным  группам выглядит следующим образом: 
 1) Выделяются связные компоненты белого цвета. Обычно для этого используется итеративный процесс: 
, n=1,2, ... 
где - выделенная компонента, - исходное изображение, - операция дилатации^[4], а 
- структурирующий элемент. Самый большой из полученных объектов представляет собой фон. Если этот объект достаточно велик, чтобы включать в себя все символы номерного знака и при этом не касаться границ изображения, то эта область относится к первой группе. Отметим, что объект включает в себя все символы номерного знака, если его ширина превышает ( число символов, минимальная ширина символа), а высота – минимальную высоту символа. 
 2) Выделяются связные компоненты чёрного цвета. Самый широкий объект должен представлять собой части рамки. Если он достаточно широк, чтобы включать в себя все символы, то эта область относится ко второй группе. В противном случае она принадлежит к третьей группе. 
 Способ удаления рамки зависит от того, к какой группе принадлежит область. 
 Первая  группа. 
В этом случае рамка совпадает с контуром самого большого фонового объекта. Возможные ошибки могут возникнуть при этом для символов, касающихся рамки. 
 Вторая  группа. 
В этом случае граница представляет собой самый большой объект чёрного цвета. Тогда удаляются его вертикальные контуры и все связные чёрные компоненты, ширина которых превышает максимальную ширину символов. Так как граница для этой группы областей более тонкая, то вероятность её касания символами номерного знака значительно меньше, чем в предыдущем случае. 
 Третья  группа. 
Для данной группы областей рамка уже практически удалена в процессе предшествующей обработки. Поэтому остаётся устранить только связные компоненты чёрного цвета, чьи горизонтальные или вертикальные размеры превышают соответствующие максимальные значения для символов.

2. Сегментация символов номерного знака.

2.1. Описание и анализ основных методов сегментации.

Для окончательной сегментации отдельных  символов номерного знака наиболее простым методом является разбиение области на блоки в предположении, что символы всегда занимают одно и то же положение. При этом область номерного знака делится на частей, где число символов, с использованием статистической информации о расположении отдельных символов. Единственным достоинством такого метода является его простота и независимость от качества изображения при условии корректного выделения области номерного знака. Недостатком данного подхода является высокий риск установления неверных границ символов (это напрямую зависит от результатов этапа выделения области номерного знака). Кроме того, этот метод только отделяет один символ от другого вместо того, чтобы находить их точные границы. 
 К лучшим результатам приводит метод, основанный на построении горизонтальной проекции изображения. При этом переход от впадины к пику свидетельствует о начале нового символа и наоборот. В зависимости от качества выделения области номерного знака и устранения рамки этот метод может давать очень хорошие результаты вследствие его независимости от местонахождения символов. Однако он также является достаточно чувствительным к качеству изображения. 
 Для выделения отдельных символов можно также воспользоваться анализом связных компонент, тем более что в ряде случаев (при устранении рамки) они уже были получены. Естественно, что часть из них не является искомыми символами и должна быть устранена. Для этого могут быть использованы такие характерные признаки, как:

• минимальная и максимальная высота символов;
• минимальная и максимальная площадь символов;
• число составляющих символ пикселей;
• расстояние до соседних символов (это позволяет удалять остатки рамки, которые легко спутать, например, с цифрой “1”).

Преимуществами  такого подхода являются его инвариантность к вращению и точное нахождение границ символов. Среди недостатков этого  метода можно выделить чувствительность к качеству изображения и к  результатам бинаризации номерного  знака. Плохая бинаризация обычно ведёт  к слиянию двух и более символов в одну связную компоненту. Малые расстояния между символами – также одна из проблем для данного метода.

2.2. Комбинированный метод сегментации.

 3

Одним из возможных способов преодоления  указанных выше трудностей является применение метода, в котором выделение символов номерного знака производится на основе совместного использования полутонового и бинаризованного изображений. Как известно, контраст между пикселями символов знака и фоном достаточно высок, в то время как между соседними пикселями фона он значительно меньше. Принимая это во внимание, будем устанавливать различные начальные точки в верхней строке полутонового изображения области номерного знака (предполагается, что рамка, если она существовала, была удалена) и находить пути с “наименьшей стоимостью”. Стоимость пути определяется как сумма разностей интенсивностей соседних пикселей вдоль всего пути: 
, 
где индекс пробегает все значения, относящиеся к рассматриваемому пути, а соответствующее значение интенсивности пикселей, лежащих на данному пути. Такая операция позволит нам отделить символы друг от друга, поскольку путь с наименьшей стоимостью только в очень небольшом числе случаев будет пересекать сами символы (например, при значительном загрязнении номера, но в таких условиях и все остальные методы также окажутся неэффективными). 
 Будем рассматривать каждый пиксель как вершину графа, соединённую с тремя соседними пикселями. 
                                        2                         1                         4