Анализ тональности текста

Базовая задача анализа тональности — определение полярности текста на уровне документа, предложения или отдельного признака/аспекта: выражено ли в тексте, отдельном предложении или по конкретному аспекту объекта положительное, отрицательное или нейтральное мнение. Более продвинутые, «выходящие за рамки полярности» методы стремятся распознавать и эмоциональные состояния, такие как удовольствие, гнев, отвращение, грусть, страх или удивление^[2].

Предшественниками современных методов считаются система General Inquirer^[3] (одна из первых попыток количественного анализа содержимого текста) и психологические исследования по оценке психологического состояния человека через анализ его речевого поведения^[4].

Позднее в патенте Волкани и Фогеля^[5] подробно описан анализ слов и фраз относительно разных эмоциональных шкал; на его основе создана система EffectCheck, предлагающая синонимы для усиления или ослабления эмоционального воздействия.

Многие другие исследования, например работы Тёрни^[6] и Панга^[7], оперировали лишь определением полярности — от позитивной к негативной, чаще всего на уровне документа (например, отзывы о продукции и фильмах). Позже Панг^[8] и Снайдер^[9] предложили методы многоуровневой оценки (например, по 5-звёздочной шкале для разных аспектов ресторана).

С ростом интереса к различным подходам в 2004 году на весеннем симпозиуме AAAI лингвисты и исследователи ИИ предложили совместные задачи и эталонные наборы данных для системного вычислительного изучения аффектов, привлекательности и субъективности в тексте^[10].

В большинстве статистических методов классификации нейтральный класс часто игнорируется как граница бинарного классификатора, однако исследователи показали, что разделение на три категории (позитив, негатив, нейтралитет) более обосновано. Некоторые классификаторы, такие как максимальная энтропия^[11] и метод опорных векторов, могут существенно повысить точность за счёт добавления нейтрального класса^[12]. При этом выделяют два метода: фильтрация нейтрального текста с последующей оценкой остатка или одновременная классификация на три класса (например, наивный байесовский классификатор в NLTK).

Другой подход — шкалирование: словам присваивается числовое значение в диапазоне от −10 до +10 (или, например, от 0 до 4), и анализ проводится с учётом окружающего контекста, позволяя учитывать усилители, ослабители и отрицания^[13].^[14] Также можно оценивать силу как положительных, так и отрицательных эмоций^[15].

Существуют и другие виды анализа тональности: по аспектам, по градации (положительный, нейтральный, отрицательный), мультиязычный анализ, обнаружение эмоций и др^[16].^[17][18]

Задача состоит в классификации предложения (или текста) на субъективные и объективные^[19]. Это может быть сложнее, чем определение полярности^[20]. Объективные тексты содержат факты^[21], например: «Президентом США может быть избран гражданин не моложе 35 лет».

Субъективные тексты отражают личное мнение, оценки, предсказания, например: «Нам нужен президент зрелый и способный принимать мудрые решения»^[22].

Классификация субъективности требует определения индикаторов — слов или выражений, характерных для каждого класса^[23]. Для обучения используются либо вручную размеченные, либо автоматически размечаемые корпуса. Основными проблемами являются: метафоры, различия в стилях, контекст, временная чувствительность, редкие слова и большой объём данных^[24].

Ручная разметка сложна и трудозатратна, автоматические методы, такие как мета-бустрэппинг^[25] и Basilisk^[26], активно используются.

Подобные классификаторы находят применение в бизнесе, рекламной и финансовой аналитике, социальных науках, образовании — например, для анализа отзывов, классификации спама, прогнозирования цен акций и т.п^[27].

Анализ по признакам (аспектам) определяет отношения и тональность к отдельным характеристикам объекта, например, к экрану телефона, качеству фотоаппарата и т. д^[28]. Его преимущество в более тонком учёте нюансов восприятия объекта. Автоматическое выделение признаков возможно с помощью синтаксических методов, тематического моделирования^[29] или глубокого обучения^[30].

Степень выраженности эмоций/тональности также индивидуальна. Задача — определить силу проявления (интенсивности) мнения в документе, предложении или аспекте^[31]. Некоторые методы используют ансамбли моделей и глубокое обучение на основе сверточных и рекуррентных сетей^[32].

Существующие подходы к анализу тональности подразделяются на три основные группы: основанные на знаниях, статистические и гибридные^[33].

• Знаниевыe методы используют наличие не двусмысленных слов аффекта, таких как «счастлив», «грустный», и часто опираются на словари или онтологии^[34].

• Статистические методы опираются на машинное обучение: латентно-семантический анализ, метод опорных векторов, мешок слов, эмбеддинги слов и глубокие нейросети^[6].

• Гибридные методы объединяют машинное обучение и элементы онтологического/семантического анализа^[35].

Современные инструменты — как открытые, так и коммерческие — позволяют проводить автоматизированный анализ больших текстовых коллекций (веб-страниц, новостей, форумов, соцсетей), используя статистику и лингвистические данные^[36]. Специальные системы используют ресурсы общего знания для семантического анализа^[37]. Анализ возможен и для визуальной информации (изображения, видео). Большинство подходов используют модель мешка слов, игнорируя контекст и грамматику; модели, учитывающие синтаксическую композицию, требуют богато размеченных данных^[38].

Человеческая экспертная оценка необходима, так как автоматические системы не способны учесть поведение конкретного автора и платформы, а также часто ошибаются с юмором, сарказмом или отрицаниями^[39]. Даже люди согласны между собой примерно на 80% случаев^[40][41].

Точность — это совпадение с экспертным человеческим мнением, обычно оцениваемое по точности и полноте для положительных и отрицательных классов. Достичь более 70% точности — сопоставимо с уровнем согласия аннотаторов^[40]. Компьютеру сложны отрицания, ирония, юмор. Для коммерческого применения часто недостаточно простой модели «отрицательно—положительно», поэтому оценки смещаются в сторону задач анализа влияния на репутацию^[42]. Измерение все чаще становится задачно-ориентированным.

Рост социальный сетей и блогов вызвал волну интереса к анализу тональности. Онлайн-отзывы, ранжирования, обсуждения становятся важным источником обратной связи для бизнеса^[43]. Однако сложные культурные и языковые нюансы затрудняют автоматическую обработку мнений, особенно в коротких сообщениях.

Тем не менее, анализ тональности в микроблогах позволяет оценивать политические и другие тенденции, выявляя корреляцию с настроениями общества^[44]. Анализ используется и для отслеживания общественного мнения о здоровье, лекарствах, событиях социальной значимости^[45].

В системах рекомендаций анализ тональности помогает предсказывать пользовательские предпочтения. Текстовые отзывы дают богатую информацию об оценке отдельных аспектов товаров, которую можно использовать для построения гибридных рекомендательных моделей. Сложности применения анализа тональности связаны с необходимостью фильтрации спама и учётом особенностей коротких и длинных отзывов.

Вопросы приватности, согласия и смещения крайне важны, поскольку анализ тональности часто затрагивает личные данные без явного согласия пользователей. Для решения этих вопросов разрабатываются этические рамки (например, проект SEWA), включая специальные этические и консультативные советы^[46].