Распознавание эмоций в диалоге

Задача ERC заключается в обнаружении эмоций, выражаемых участниками в каждой реплике диалога. ERC опирается на три основных  — контекст беседы, психическое состояние собеседников и их намерения^[1]. На практике психическое состояние и намерения говорящего моделируются с помощью интеграции внешних баз знаний здравого смысла (например, COMET и ATOMIC). Намерения извлекаются как контекстные признаки из этих баз и интегрируются в модели с помощью графовых трансформеров и механизмов динамического внимания^[7][8]. Формально задача распознавания эмоций в диалоге определяется следующим образом. Обучающий набор данных представляется как ${\displaystyle D=\{(C_{i},y_{i})\}_{i=1}^{N}}$. Каждый диалог ${\displaystyle C_{i}}$ состоит из последовательности высказываний ${\displaystyle U=\{u_{1},u_{2},\dots ,u_{M}\}}$, где каждое высказывание ${\displaystyle u_{j}}$ является последовательностью токенов. Каждому высказыванию ${\displaystyle u_{j}}$ соответствует идентификатор говорящего ${\displaystyle p(u_{j})\in P}$, что позволяет отслеживать изменение настроения конкретного участника беседы. Контекст ${\displaystyle C}$ включает в себя исторические высказывания и может содержать вспомогательную информацию о говорящих. Цель задачи — обучить предиктор ${\displaystyle F_{\theta }(\cdot )}$, который на основе входных данных предсказывает для каждого высказывания метку эмоции из пространства возможных эмоций ${\displaystyle Y}$^[9][10].

IEMOCAP^[11], SEMAINE^[12], DailyDialogue^[13], и MELD^[14] — четыре наиболее часто используемых датасета в ERC. Среди них MELD включает многопользовательские диалоги. Датасет IEMOCAP, считающийся одним из наиболее сложных для распознавания эмоций, использовался для тестирования отечественной технологии CA-SER^[15][16]. Для обучения системы MASAI применяются российские наборы данных, включая многомодальную базу RAMAS и специализированную базу по выражению агрессии^[17].

Подходы к ERC включают методы без учителя, полубеспечиваемые и с учителем^[18]. К популярным методам с учителем относят использование или объединение заранее заданных признаков, рекуррентные нейронные сети^[19] (например, DialogueRNN^[20]), графовые свёрточные сети (например, DialogueGCN^[21]), а также иерархичные сети памяти с вниманием^[22]. Большинство современных методов ERC базируются на технологиях глубокого обучения, опираясь на латентное моделирование состояния собеседника. Для эффективного разделения близких эмоциональных классов (например, «гнева» и «отвращения») применяются методы контрастивного обучения, проецирующие признаки в латентное пространство, где примеры одной эмоции сближаются, а разных — отдаляются^[23][24]. В качестве эффективной альтернативы для обработки длинных диалогов используются модели пространства состояний (например, Mamba)^[25].

В последнее время выделяется новая задача — распознавание причины эмоции в диалоге^[32]. Решения этой задачи основаны на механизмах вопросно-ответных систем с использованием языковых моделей. RECCON^[32] — один из ключевых датасетов для этой задачи. Для распознавания эмоций в диалогах активно применяются алгоритмы причинно-следственного вывода (Causal Inference), контрфактуального анализа и структурные каузальные модели (SCM), позволяющие выявлять причинно-следственные связи при генерации эмоций^[33]. В рамках обеспечения интерпретируемости (Explainable AI) используются графовые модели с механизмами внимания. Например, сеть ECGN (Emotional Contagion Graph Network) объясняет связи между высказываниями-стимулами и эмоциональным откликом через построение гетерогенного графа «эмоционального заражения» и вычисление весов внимания^[34].

Современные сферы применения распознавания эмоций в диалоге (ERC) включают автоматический анализ мнений, обеспечение эмоциональной осведомлённости диалоговых агентов и анализ эмоций в сфере поддержки клиентов. Отдельно выделяется применение ERC в мониторинге психического здоровья и терапевтических практиках^[35]. В частности, для ранней диагностики депрессии, тревожности и расстройств, связанных со стрессом, используются высокоточные ЭЭГ-алгоритмы (с точностью до 99,99 %)^[36][37].