Поиск изображений по содержанию

Мета-поиск изображений требует, чтобы человек вручную аннотировал изображения, добавляя ключевые слова или метаданные в большую базу данных, что является затратным по времени процессом и не всегда отражает нужные ключевые слова. Эффективность поиска изображений по ключевым словам субъективна и формализована недостаточно. Аналогичные трудности при формализации успеха существуют и у CBIR-систем^[2]. «Ключевые слова также ограничивают диапазон поиска заранее известными критериями», а «установленные при заведении» оказывается менее надёжным по сравнению c использованием содержания изображения^[3].

Термин «поиск изображений по содержанию» впервые был использован в 1992 году японским инженером Тосиказу Като из Электротехнической лаборатории для описания экспериментов по автоматическому поиску изображений в базе данных по цветам и формам^[2][4]. Позже термин стал означать процесс поиска необходимых изображений в большой коллекции на основе синтаксических характеристик изображения. Используемые методы, инструменты и алгоритмы происходят из статистики, распознавания образов, обработки сигналов и компьютерного зрения^[1].

Первой коммерческой CBIR-системой стала разработка компании IBM — QBIC (англ. Query By Image Content)^[5][6]. Позднее сетевые и графовые методы предложили альтернативы классическим алгоритмам^[7].

Хотя хранение множественных изображений как единого объекта существовало и до появления термина BLOB (англ. Binary Large OBject)^[8], полноценный поиск изображений по содержанию, а не по описаниям, стал возможен с появлением QBIC от IBM^[3].

Интерес к CBIR обусловлен ограничениями систем, основанных на метаданных, а также широким спектром потенциальных применений эффективного поиска изображений. Текстовую информацию об изображениях легко искать с помощью существующих технологий, но для этого требуется ручное описание каждого изображения. Это малореализуемо для больших коллекций или автоматически генерируемых изображений, например, с камер наблюдения. Возможны и ложные пропуски изображений из-за использования синонимов в описаниях. Системы на семантической категоризации (например, «кот» как частный случай «животного») могут снизить вероятность ошибки, но требуют большего участия пользователя. Стандарты для категоризации существуют, однако проблемы масштабируемости и ошибочной классификации сохраняются^[2].

Первые CBIR-системы осуществляли поиск по цвету, текстуре и форме. Позже стало очевидно, что необходимы пользовательские интерфейсы. Поэтому внимание систем стало смещаться в сторону ориентированного на пользователя дизайна: поддержка семантических запросов, обратной связи с пользователем, интеграция машинного обучения и учёт удовлетворённости пользователя^[1].

Разработано множество систем CBIR, но по состоянию на 2006 год задача поиска изображений только на основе их пиксельного содержания во многом остаётся нерешённой^[1].

Различные варианты работы CBIR используют различные формы ввода пользователем запросов.

QBE (англ. Query by example) — техника поиска^[9], при которой пользователь задаёт системе пример изображения, на основе которого и строится выдача. Алгоритмы поиска варьируются в зависимости от конкретного приложения, но результаты должны содержать общие черты с примером^[10]. Эта техника помогает избежать трудностей, связанных с текстовым описанием поиска.

Способы предоставления примера:

• загрузка уже существующего изображения или выбор из набора случайных;
• рисование грубого наброска интересуемого изображения (например, с помощью цветных пятен или схематичных форм)^[10].

Семантический поиск начинается с запроса наподобие «найти фотографии Авраама Линкольна». Компьютерам подобная задача затруднительна, поскольку человек на изображениях может находиться в разном положении, выражении лица и пр. Поэтому зачастую CBIR использует низкоуровневые признаки: текстуру, цвет, форму. Они могут сочетаться с интерфейсами, облегчающими задание критериев, или с базами, предварительно обученными на определённых объектах (например, лица, отпечатки пальцев, формы). Тем не менее, для поиска по высоким понятиям требуется обратная связь от человека^[6].

Сочетание разнообразных поисковых техник системы CBIR с диапазоном пользовательских запросов усложняет задачу соответствия ожиданиям пользователя^[11]. Системы CBIR используют механизм обратной связи по релевантности, когда пользователь поочерёдно помечает результаты поиска как «релевантно», «не релевантно» или «нейтрально», а система повторно ищет уже с учётом новых оценок. Реализации такого типа интерфейсов существуют^[12].

Машинное обучение и применение итеративных методов становятся всё более популярными в CBIR^[13].

Существуют и другие методы: поиск по примерным изображениям, навигация по иерархическим категориям, запросы по выделенному региону, множественным примерам, эскизам, конкретным визуальным признакам, а также мультимодальные запросы (комбинирующие, например, прикосновения, голос и пр.)^[14].

Обычный способ сравнения двух изображений в CBIR (например, примера и кандидата из базы) — использование метрик расстояния между изображениями. Метрика оценивает сходство по цвету, текстуре, форме и иным признакам. Например, расстояние 0 означает идеальное совпадение по выбранным признакам, а больший показатель — различие. Результаты упорядочивают по удалённости от примера^[10]. Разработано множество моделей для оценки расстояния между изображениями^[15].

Метрики на основе цвета строятся, например, по цветовым гистограммам, где учитывается доля пикселей определённых цветов^[2]. Оценка по цвету не зависит от размера или ориентации изображения^[6]. Также исследуются подходы к сегментации по цвету регионами и пространственному расположению зон^[14].

Текстуры — визуальные паттерны и их распределение в изображении. Представляются в виде набора «текселей», классифицируемых по числу текстур. Наборы определяют не только вид текстуры, но и её размещение^[10].

Выделение текстуры затруднительно: обычно её моделируют как двумерную вариацию по интенсивности. Оценивается контраст, регулярность, шероховатость, направленность^[6][16]. Основная проблема — выявление закономерных вариаций пикселей и их связь с типами текстуры («шёлковистая», «грубая» и др.).

Популярные методы:

• Со-матрицы встречаемости
• Энергии текстуры по Лоусу
• Вейвлет-преобразование
• Ортогональное преобразование (например, дискретные моменты Чебышёва)

Под формой понимается фигура определённого объекта или области, а не всё изображение. Обычно форму выделяют методом сегментации или поиска границ. Существуют методы, включающие фильтрацию по форме^[17]. Дескрипторы формы должны быть инвариантны к сдвигу, масштабу и повороту^[6].

Примеры дескрипторов формы^[6]:

• Преобразование Фурье
• Моменты-инварианты

Как и другие задачи компьютерного зрения (распознавание, детекция), современные методы поиска изображений на основе нейронных сетей подвержены состязательным атакам — как по выбору кандидата, так и по запросу^[18]. Показано, что ранжирование может существенно меняться при микроскопических модификациях, незаметных человеку. Кроме того, существуют переносимые состязательные примеры (model-agnostic), позволяющие организовать «чёрный ящик»-атаки на глубинные системы ранжирования без доступа к их реализации^[18][19].

Устойчивость к таким атакам может быть повышена методами состязательной защиты, например с помощью защиты Мадри^[20].

Критерии эффективности поиска изображений могут измеряться через точность и полноту. Существуют и другие исследуемые подходы^[21].

В CBIR-системах могут одновременно использоваться разные методы, например: интеграция кластеризации пикселей, пересечения гистограмм и дискретного вейвлет-преобразования^[22].

Возможные сферы использования CBIR^[2]:

• архитектура и инженерный дизайн;
• коллекции произведений искусства;
• профилактика преступлений;
• Геоинформационные системы и дистанционное зондирование;
• Интеллектуальная собственность;
• медицинская диагностика;
• военная сфера;
• поисковые и фотоархивы;
• электронные каталоги;
• фильтрация по наличию наготы^[23];
• Система распознавания лиц;
• текстильная промышленность^[12].

Коммерческие системы^[2]:

• QBIC от IBM
• VIR Image Engine от Virage
• Image RetrievalWare от Excalibur
• VisualSEEk и WebSEEk
• Netra
• MARS
• Vhoto
• Pixolution

Экспериментальные системы^[2]:

• Photobook (MIT)
• WebSEEk (Колумбийский университет)
• Informedia (Университет Карнеги — Меллон)
• iSearch — PICT