Технология поиска изображений в Интернете. Метапоисковые системы

     В качестве расстояния между гистограммами  используется покомпонентная сумма модулей разности между ними. Несмотря на предельную простоту подхода, он показывает довольно стабильные результаты. Распознаются схожие по цветовой гамме серии картинок, если они имеются в базе.

     Более точное сравнение изображений достигается с помощью техники квадродеревьев, когда методы вычисления и сравнения цветовых гистограмм применяются не ко всему изображению, а к его четверти (одной шестнадцатой и т. д.). Сейчас программа позволяет работать не только с полными изображениями, но и с их разбиением на четверти. Для реализации этой возможности, при построении гистограммы автоматически считаются и гистограммы всех четырех квадрантов изображения. Сравнение изображений основывается на расстоянии, определенном как Евклидово в пространстве расстояний между гистограммами их частей - вместо вычисления расстояния между полными гистограммами, рассчитываются расстояния между четвертями, итоговым результатом считается корень из суммы их квадратов. Этот метод дает результат, семантически отличный от других вариантов: изображения, отличные только по взаимному расположению похожих по цвету объектов,  считаются различными, а не практически идентичными, как было бы без использования этой техники. Целесообразность ее применения определяется значением для пользователя расположения на картинке-образце определенных цветовых областей.

3. Объекты изображения

     Пространственное  сегментирование изображения может  осуществляться автоматически, когда  выделяются области с некими общими свойствами - одинаковыми или сильно схожими значениями того или иного примитива. Полученные в результате области характеризуются расположением на изображении и размерами. Кроме того, они связываются со значениями примитивов – характеристиками формы, цвета, текстуры.

     Контур - граница объекта - представляет собой замкнутую последовательность точек. Задача выявления контуров связана с локализацией на изображении резких перепадов яркости цвета или изменений параметров, характеризующих текстуру.

     Определение границ объектов изображения выполняется  по следующей схеме:  цветное изображение переводится в черно-белое полутоновое и сглаживается, осуществляется пространственное дифференцирование - вычисляется градиент функции интенсивности в каждой точке изображения и, наконец, подавляются значения меньше установленного порога. За основу взят метод Собеля, использующий для вычисления градиента первого порядка функции интенсивности специальные ядра, известные как «операторы Собеля».

     Ядра  применяются к каждому пикселу  изображения: он помещается в центр  ядра, и значения интенсивности в соседних точках умножаются на соответствующие коэффициенты ядра, после чего полученные значения суммируются. Х- оператор Собеля, примененный к 3х3 матрице исходного изображения, дает величину горизонтальной составляющей градиента интенсивности в центральной точке этой матрицы, а Y-оператор Собеля дает величину вертикальной составляющей градиента. Коэффициенты ядра выбраны так, чтобы при его применении одновременно выполнялось сглаживание в одном направлении и вычисление пространственной производной – в другом.

     Величина  градиента определяется как квадратный корень из суммы квадратов значений горизонтальной и вертикальной составляющих градиента.

     В результате образуется массив чисел, характеризующих  изменения яркости в различных  точках изображения. Затем выполняется операция сравнения с порогом и определяется положение элементов изображения с наиболее сильными перепадами  яркости. Выбор порога является одним из ключевых вопросов выделения перепадов. В нашей реализации он отличается от оригинального метода Собеля. В качестве основного порога берется средняя для изображения величина градиента. Для достаточно большого изображения с малым числом точек, обладающих сильным перепадом яркости, данной пороговой величины недостаточно, т.к. оказывается весьма сильным влияние шума. Для ликвидации этой проблемы для каждой точки изображения считается величина равная средней величине градиента в области 3х3 вокруг анализируемой точки.

     В результате обработки получается бинарная матрица, где единицам соответствуют точки со значительным перепадом яркости, нулям – все остальные. В качестве дополнительной меры в борьбе с шумом и ликвидации возможных разрывов в контурах применяются морфологические операции.

     Следующий этап – сегментация изображения. Целью сегментации является выделение на изображении контуров объектов. В бинарной матрице единицами представлены точки, принадлежащие искусственно утолщенным на предыдущем этапе границам объектов. Для выделения границы одного объекта в матрице по определенному алгоритму ищется элемент, равный единице, не отнесенный ранее ни к какому другому  объекту; далее считается, что все соседние элементы, равные единице, также принадлежат этому объекту; и т. д. Для выделения точек внешнего контура используется обход полученного объекта по внешней его стороне, начиная с нижней левой точки объекта и заканчивая ею же. Обход точек ведется последовательно против часовой стрелки. В результате получаем массив точек, образующий замкнутый контур объекта. Из него равномерно выбирается 128 точек, которые используются для вычисления предназначенных для индексирования характеристик формы. (Небольшие объекты исключаются из рассмотрения)

4. CBIR-системы

     Аббревиатура CBIR расшифровывается как Content Based Image Retrieval (поиск изображений по содержанию). Данный термин впервые был использован в 1992 г. для обозначения поиска изображения в базе данных на основе анализа таких характеристик, как цвета, текстура и очертания его элементов. Со временем содержание термина расширилось, и теперь с его помощью обозначают достаточно широкий спектр технологий поиска изображений, основанных на анализе содержимого картинок. Интерес к таким технологиям поиска был вызван тем, что традиционные методы индексирования больших баз изображений — не самый эффективный способ такой работы. Автоматическая индексация грешит неточностью, а "ручной" режим, при котором изображения индексируются человеком, требует больших затрат времени и тоже не всегда гарантирует полноту описания.

     В самом общем виде CBIR-система работает подобно любому другому поисковику — в два этапа. На первом этапе индексирования каждое изображение описывается и заносится в базу данных. Вот только в этом случае систему интересуют не ключевые слова или имена файлов, а определенные параметры самого изображения, анализируемые с помощью специальных алгоритмов. Обычно это уже названные выше параметры цвета, текстуры и очертаний. Полученные данные сохраняются в индексной базе. После этого можно вести поиск по определенным значениям таких параметров, сравнивать их между собой или с представленной системе картинкой. Это уже второй этап — нахождение в базе изображений с близкими признаками — другими словами, визуально похожих. На этапе поиска свойства одной картинки сравниваются с аналогичными данными других изображений, хранящихся в индексной базе.

     Таким образом, в CBIR-системе работают алгоритмы, сначала извлекающие необходимые  данные из изображения, а затем сравнивающие их. Если быть точным, то такие пары алгоритмов разрабатываются для каждого используемого в поиске признака. Преимущества CBIR над обычными, "словесно- описательными", технологиями поиска изображений очевидны — они не зависят от квалификации и внимательности человека (как веб-галереи с индексацией изображений их авторами) и работают непосредственно с характеристиками изображения, а не с косвенными признаками, как это делают обычные универсальные поисковики. В результате можно автоматически обрабатывать большие массивы изображений. Кроме того, эта технология предлагает новые инструменты составления поисковых запросов. В идеале CBIR-система должна понимать запросы на обычном, человеческом языке — например, "натюрморт из фруктов на зеленом блюде" или "портрет человека средних лет на фоне морского побережья вечером". Создание таких систем пока удел будущего, ну, а современные CBIR-поисковики работают с характеристиками попроще — так сказать, "низкоуровневыми". В настоящее время принято выделять несколько типов CBIR-систем в зависимости от разновидности поисковых запросов, с которыми они работают. Первый тип работает с графическим запросом — системе предъявляют изображение-запрос, а она ищет подобные картинки в своей индексной базе.

     Второй  тип работает с наброском, который делает пользователь, постепенно находя все более и более похожие изображения. Третий тип дает возможность составлять и уточнять запросы на основе заданных пользователем характеристик цвета, текстуры и очертаний. Поисковый запрос в такой системе представляет собой перечень значений различных параметров. Некоторые современные системы используют сразу несколько видов запросов. Одним автоматическим анализом дело не ограничивается. Большинство CBIR-систем для уточнения результатов поиска использует дополнительный контур — обратную связь с пользователем. Обычно это опции "похоже", "не похоже" и "нейтрально", выводимые с найденными изображениями. Такие ответы пользователей позволяют уточнять искомые характеристики изображений подобно языку сложных запросов на обычных Интернет-поисковиках. Благодаря этому дополнительному контуру удается оценить, насколько "низкоуровневые" характеристики изображения соответствуют запросу конкретного пользователя. Тем самым перекидывается мостик между характеристикой качеств изображения и его смысловой нагрузкой, что можно использовать как непосредственно в ходе поиска, так и для совершенствования алгоритмов поисковой системы.

5. CBIR-системы на практике

     С внутренним устройством CBIR-систем мы более-менее  ознакомились, пора переходить к практическому применению. Если Вы когда-нибудь искали изображения на универсальных поисковиках с включенным "родительским контролем", то вы уже пользовались CBIR-технологиями. Дело в том, что именно они применяются для выделения потенциально неблагопристойных изображений. Вот только влиять на работу этих инструментов нам — пользователям поисковика — можно было в очень ограниченной степени — на уровне "включить-выключить". Вооруженные знанием общей механики работы CBIR-систем, мы теперь можем сказать, что в данном случае, во-первых, напрочь отсутствует контур обратной связи с пользователем и, во-вторых, работает только один тип поиска (на сравнение) из нескольких возможных, причем вся эта механика по возможности спрятана подальше от глаз пользователя. Большинство современных CBIR-систем открытого доступа пока либо находятся в стадии бета-версий, либо играют роль демо-версий коммерческих пакетов. Поэтому мы не будем сейчас перечислять такие проекты, а начнем со знакомства с одним из наиболее удачных свободных CBIR-поисковиков, из работы с которым простой нормальный посетитель уже сейчас может извлечь некоторую пользу.

     Рассмотрим  на примере экспериментального поисковика Tiltomo (www.tiltomo.com) — независимый проект, предназначенный для отработки технологий Интернет-поиска изображений с помощью CBIR. В настоящее время для посещения открыта бета-версия этого сервиса. Изначально это была программа, предназначенная для сортировки личных коллекций авторов. Через какое-то время после нескольких доработок алгоритма им стало интересно проверить свою систему на какой-нибудь действительно крупной базе изображений. В результате и появился сайт Tiltomo. Для такого эксперимента требовалось большое собрание реальных фотографий. Долго искать, видимо, не пришлось — было решено использовать базу бесплатного сервиса Flickr. Это сервис, предназначенный для хранения и дальнейшего использования пользователем своих цифровых фотографий и видеороликов. Популярность Flickr позволила авторам Tiltomo быстро привлечь к своему проекту достаточное количество заинтересованных тестеров. Tiltomo в настоящее время ищет не по всей коллекции Flickr, а только по двум тестовым базам данных, в которых хранится всего порядка 300 тысяч фотоснимков — видимо, сказывается статус "беты". Начинать поиск можно либо со случайного набора снимков с различными характеристиками, либо отобрав снимки по определенному тегу. Ради примера попробуем искать по тегу "apple" — к сожалению, пока можно искать только по тегам, состоящим из одного слова.

     Мы  получили страницу, содержащую несколько десятков миниатюр, соответствующих нашему тегу. Сразу же проявляется синонимия термина — здесь у нас и компьютерная продукция компании Apple, и яблоки и яблони разных сортов, и даже фотографии улиц Нью-Йорка, известного также как "Big Apple". Если бы мы пользовались обычным поисковиком, то на данном этапе пришлось бы придумывать более точный и сложный запрос. Здесь же нам доступны два новых варианта: уточнение темы запроса и поиск по характеристикам изображения. Как показывает практика, лучше вначале максимально уточнить тему. Для этого достаточно выбрать понравившуюся миниатюру и щелкнуть по ссылке "Find Similar by Theme", которая находится под каждой из них. Допустим, нам требуются фотоснимки яблоневых садов — выбираем снимок-пример, щелкаем по ссылке и получаем соответствующий набор фотографий. Также существует опция "Show ONLY images from the reference photographer", которая активна при "тематическом" поиске — она переключает нас в режим поиска работ автора выбранного нами снимка. На странице новых результатов снимки самые разные: снятые при ярком солнечном свете и в пасмурную погоду, с близкого расстояния, когда видна разве что одна ветка с несколькими яблоками, и издали. Теперь опробуем второй инструмент, который запускается ссылкой "Find Similar by Color/Texture". Запускается поиск изображений, похожих на выбранное нами по характеристикам цвета и очертаний.