Визуальный тест Тьюринга

Исследования в области компьютерного зрения ведутся с 1960-х годов, когда Сеймур Пейперт впервые попытался решить эту задачу в рамках Летнего проекта по зрению. Этот эксперимент оказался неудачным, поскольку компьютерное зрение гораздо сложнее, чем предполагалось, и сравнимо по сложности с визуальной системой человека: примерно 50 % мозга занято обработкой зрительной информации, что указывает на исключительную сложность проблемы.

Позднее предпринимались попытки использовать модели, вдохновлённые работой мозга. Перцептроны Фрэнка Розенблатта, представляющие собой разновидность нейронных сетей, стали одним из первых подходов такого рода. Однако простые нейронные сети оказались ограниченными и были практически забыты в последующих исследованиях.

С развитием аппаратного обеспечения исследование сместилось в область обработки изображений, включавшую операции на уровне пикселов: поиск границ, удаление шума, применение фильтров и др. Несмотря на успехи, задача осмысленного понимания изображения так и не была решена. В этот же период были показаны возможности многослойных перцептронов, а в 1990-х появились свёрточные нейронные сети, продемонстрировавшие отличные результаты для распознавания цифр, но слабо масштабируемые на сложные задачи.

В конце 1990-х и начале 2000-х началась эпоха современного компьютерного зрения. Развитие ключевых признаков и алгоритмов представления, вместе с машинным обучением, позволило определять, локализовать и сегментировать объекты на изображениях.

Появление стандартных датасетов и оценки качества позволило объективно сравнивать разные алгоритмы, например, через соревнования Pascal VOC и ImageNet. Появление единой системы оценки и открытых челленджей дало ясные ориентиры для исследований, способствуя эффективному развитию специализированных методов, например, для обнаружения и классификации объектов.

Визуальный тест Тьюринга направлен на переосмысление целей компьютерного зрения — приблизить создание систем, воспринимающих изображения более «по-человечески».

Для оценки качества алгоритмов компьютерного зрения созданы многочисленные размеченные датасеты, которые позволяют сравнивать продуктивность методов для разных задач (например, обнаружение или распознавание объектов) на выбранных доменах изображений (например, уличные сцены).

Один из самых известных датасетов — ImageNet, используемый для тестирования классификации объектов на изображении. Это один из крупнейших размеченных корпусов: свыше миллиона изображений. Для задачи локализации и детекции объектов применяется датасет Pascal. Существуют и другие датасеты: H3D^[2] для детектирования поз людей, Core — для оценки признаков объектов (цвет, ориентация, действие) и др.

Стандартизация тестовых данных и процедур сравнения позволила выработать эффективные алгоритмы для частных задач. Следующий логичный этап — создание более комплексной задачи, охватывающей множество подзадач: такие тесты приблизят машины к реальному пониманию изображений, поскольку трактовка сцены подразумевает одновременное распознавание, локализацию и сегментацию объектов.

В отличие от классического теста Тьюринга, у Визуального теста Тьюринга используется генератор запросов, который взаимодействует с системой компьютерного зрения при посредничестве человека-координатора.

Система генерирует случайную последовательность бинарных вопросов по тестовому изображению так, что ответ на любой вопрос k остаётся непредсказуемым с учётом правильных ответов на k−1 предыдущих вопросов.

Человек-оператор выполняет две ключевые функции: исключает неоднозначные вопросы и даёт правильные ответы на однозначные. Возможен бесконечный набор бинарных вопросов к сцене, из которых многие окажутся неоднозначны — такие вопросы отсеиваются и заменяются на другие, также с условием непредсказуемости их ответа.

Ключевая задача теста — оценить «понимание изображения» системой. Для человека восприятие иллюстрируется построением сюжетной линии: люди не мыслят в терминах «автомобиль на x-пикселях слева и y-пикселях сверху», а скорее воспринимают, что «машина припаркована на улице, человек выходит из неё и направляется к зданию». Самые важные элементы сюжетной линии — объекты; основная роль генератора вопросов — конкретизация объектов изображения.

Словарь

Словарь — множество понятий, описывающих элементы изображения. В сочетании с определённой грамматикой он позволяет порождать вопросы; грамматика организует пространство бинарных вопросов.

Словарь ${\displaystyle {\mathcal {V}}}$ состоит из трёх компонентов:

1. Типы объектов ${\displaystyle {\mathcal {T}}}$;
2. Атрибуты объектов, зависящие от типа ${\displaystyle {\mathcal {A}}(t)}$;
3. Отношения между объектами, зависящие от типов ${\displaystyle {\mathcal {R}}(t,t')}$.

В задачах анализа уличных сцен типы объектов включают людей, автомобили и здания. Атрибуты могут быть такими, как: женщина, ребёнок, в шляпе, несёт предмет или движется, припаркован, виден один-два колеса. Между парой объектов могут быть неупорядоченные и упорядоченные отношения.

Вся лексика применяется не только ко всему изображению, но и к прямоугольным областям w ∈ W, отвечающим за локализацию объектов. Возможное множество областей очень велико, что усложняет вычисления, поэтому тест ограничен стандартными масштабами: 1/16, 1/4, 1/2 и более изображения.

Qexist = 'Есть ли в области w экземпляр объекта типа t с атрибутами A, который ещё не был выделен?

Quniq = 'Есть ли уникальный экземпляр объекта типа t с атрибутами A, частично видимый в области w, который ещё не был выделен?

Qatt(ot) = {'У объекта ot есть признак a?','У объекта ot есть a1 или a2?','У объекта ot есть a1 и a2?'}

Qrel(ot,ot') = 'Обладает ли объект ot отношением r к объекту ot'?

Для выбора следующего вопроса Визуальный тест Тьюринга оценивает предсказуемость каждого кандидата. Для этого используется размеченная обучающая выборка, где каждое изображение снабжено ограничивающими рамками объектов, их признаками, а пары объектов — отмеченными отношениями.

Для разных типов вопросов оценки отличаются:

1. Инстанцирующие вопросы: Условную вероятность оценивают по формуле:
   ${\displaystyle \quad {\widehat {P}}(X_{q}=1)={\frac {\#\{I\in T,H(I)=1,X_{q}(I)=1\}}{\#\{I\in T,H(I)=1\}}}}$
   При этом учитывают только вопросы с не менее чем 80 изображениями в знаменателе, поскольку каждый дополнительный вопрос истории резко сужает валидный корпус. Для борьбы с этим историю «прочёсывают» в два этапа:
   • На первом этапе убирают все вопросы о признаках и отношениях — считается, что само наличие объектов менее зависит от их свойств. Также убирают вопросы существования, относящиеся к непересекающимся областям: вероятность появления объекта в одной области не связана с наличием других объектов в других областях. Наконец, убирают вопросы уникальности с отрицательным ответом, если они не относятся к проверяемой области. Итоговая история после этого — ${\displaystyle H_{q}'}$.
   • Второй этап — покадровое прочёсывание: если уникальный вопрос ${\displaystyle q_{i}}$ из первого этапа относится к области, не совпадающей с текущей, то ожидаемый ответ для обучающего изображения ${\displaystyle I}$ — ${\displaystyle 1}$, а если реальный ответ был ${\displaystyle 0}$, то изображение выкидывают из оценки вероятности. Это позволяет получить финальную историю ${\displaystyle {\tilde {H}}(q,I)}$ и окончательную формулу:
     ${\displaystyle \quad {\widehat {P}}(X_{q}=1)={\frac {\#\{I\in T,{\tilde {H}}(q,I)=1,X_{q}(I)=1\}}{\#\{I\in T,{\tilde {H}}(q,I)=1\}}}}$
2. Вопросы о признаках: Для них вероятность оценивается по количеству помеченных объектов, а не изображений, так как один объект может встречаться на многих сценах.
   Например, для вопроса «У объекта o_t есть признак a?», где ${\displaystyle o_{t}}$ — экземпляр типа ${\displaystyle t}$, ${\displaystyle a\in A_{t}}$. Пусть ${\displaystyle A}$ — уже известные свойства объекта, ${\displaystyle {\mathcal {O}}_{\mathbb {T} }}$ — множество всех размеченных объектов обучающей выборки, ${\displaystyle {\mathcal {T}}_{\mathbb {T} }(o)}$ — тип, ${\displaystyle {\mathcal {A}}_{\mathbb {T} }(o)}$ — признаки. Тогда вероятность:
   ${\displaystyle \quad P(X_{q}=1)={\frac {\#\{o\in {\mathcal {O}}_{\mathbb {T} }:{\mathcal {T}}_{\mathbb {T} }(o)=t,A\cup \{a\}\subseteq {\mathcal {A}}_{\mathbb {T} }(o)\}}{\#\{o\in {\mathcal {O}}_{\mathbb {T} }:{\mathcal {T}}_{\mathbb {T} }(o)=t,A\subseteq {\mathcal {A}}_{\mathbb {T} }(o)\}}}}$
   Большое число уже известных признаков может привести к проблеме разреженности, поэтому атрибуты разбивают на группы слабо зависящих друг от друга свойств (например, для человеков — независимость пола и активности), что уменьшает размер множества ${\displaystyle A}$ и облегчает оценку вероятности.
3. Вопросы об отношениях: Аналогично вопросам о признаках, но оценки строятся по парам объектов (и, соответственно, по слабо зависящим отношениям).

Для экспериментов группы Дональда Джемана и соавт^[1]. был использован датасет «Urban street scenes»^[1] — изображения улиц разных городов мира, поэтому типы объектов были ограничены людьми и транспортом.

Другой датасет, представленный Институтом информатики Общества Макса Планка, называется DAQUAR^[3][4] и содержит реальные изображения помещений. Для этого корпуса предложена своя версия визуального теста Тьюринга, где основной упор делается на квази-человеческую общую осмысленность системы^[3].

Визуальный тест Тьюринга — работа, опубликованная 9 марта 2015 года в журнале Proceedings of the National Academy of Sciences исследователями из Брауновского университета и Университета Джонса Хопкинса. Метод оценивает, насколько системы компьютерного зрения действительно понимают сцены по сравнению с человеком. В настоящее время вопросы теста составлены и задаются машинно, поскольку устная интерактивная проверка вручную даёт человеку субъективное преимущество и требует ответа в реальном времени.

Крупные компании, такие как Google и Facebook, инвестируют значительные ресурсы в исследования в этой области и создают системы, стремящиеся максимально приблизиться к человеческому восприятию. В 2015 году, например, Facebook анонсировала платформу M, которая анализирует изображение и формирует его описание для слабовидящих^[5]. Подобные системы, вероятно, будут успешно проходить Визуальный тест Тьюринга.