АссистентНовый вопросИсторияОбласти знаний
Партнёрские проектыСпецпроектыСтать автором
Сменить язык
О РУВИКИ

Распознавание эмоций

Распознавание эмоций (фр. reconnaissance automatique des émotions) — это процесс идентификации человеческих эмоций с помощью цифровых технологий. Такие инструменты возникли в результате исследований в области информатики и нейронаук, и в 2020-е годы достигли значительных успехов. Распознавание эмоций может выполняться на основе изображений, видеозаписей, голоса, текста или с использованием нескольких таких источников одновременно (мультимодальные подходы обеспечивают лучшие результаты).

В 2024 году модель GPT-4o (разработанная компанией OpenAI), впервые стала общедоступным искусственным интеллектом, для которого распознавание эмоций является встроенной функцией.

Способность человека к определению собственных эмоций и эмоций других людей сильно варьирует. Распознавание невербальных сигналов — выражения лица и тела — может существенно помочь незрячим или слабовидящим людям лучше понимать собеседников. Также технологии распознавания эмоций полезны людям с расстройствами аутистического спектра (РАС), позволяя им лучше выражать собственные чувства и понимать эмоциональное состояние других. М. Д. Либерман и соавт. (2007) с помощью МРТ показали, что сам факт обозначения (вербализации) эмоции снижает физиологическую активность, связанную с ней, в амигдале и лимбической системе и сопровождается увеличением активности вентролатеральной префронтальной коры[1].

Автоматическое распознавание эмоций по выражению лица, голосу, движениям и позам играет ключевую роль для повышения уровня взаимодействия человека и машины[2]: роботам, машинам, транспортным средствам и программному обеспечению (включая видеоигры) позволяет интерпретировать мимику и производить более уместные, «умные» и эмпатичные отклики.

Технологии распознавания эмоций по своей сути нейтральны, но обладают значительным потенциалом для как благоприятных, так и опасных применений:

  • могут использоваться на благо общества, например, для онлайн-диагностики, в теле- или дистанционной диагностике[3], в том числе для оценки болевых ощущений[4] и психического состояния (шизофрения[5], депрессия[5], болезнь Паркинсона[6], сонливость[7], усталость, хроническая усталость[8], СДВГ[8], паническое расстройство, для понимания эмоционального состояния младенцев, пациентов, пожилых людей, неспособных говорить, а также для дистанционного мониторинга пациентов в медицинских учреждениях[9]; может применяться для оценки вовлечённости учащихся при дистанционном обучении, для выявления признаков алкогольного или наркотического опьянения, невнимательности и сонливости водителей для предотвращения аварий[10], а также для целей безопасности[11].
  • используется в социологических опросах и маркетинговых исследованиях;
  • возможны и злоумышленное применение: такие системы способны тайно, незаконно и без согласия выявлять глубоко личные или интимные сведения о людях на видео в общественных местах или офисах, что может привести к тяжёлым последствиям в суде (из-за искажений и ошибок, так как такие ИИ зачастую обучены на ограниченных выборках), а также создать риски в условиях общества слежки или авторитарного режима. Кроме того, анализируя данные веб-мнений (opinion mining), такие технологии способны способствовать психологическим манипуляциям в интернете, в том числе в предвыборных кампаниях и с помощью социальных сетей (пример — скандал Facebook-Cambridge Analytica/AggregateIQ, где система RIPON применялась для манипуляций на выборах в США и Brexit).

История

Ряд технологических систем создаётся всё более человеком-подобными для различных задач[11]. Эта тенденция ускорила развитие средств автоматического распознавания эмоций.

Дисциплина вышла из области распознавания лиц, где задачи постепенно усложнялись до автоматизации определения выражения лица по фото- и видеоданным, а также к обработке аудиовыражений, анализа письменной речи и физиологических сигналов (пульс, электрокардиограмма, электроэнцефалограмма (ЭЭГ)[12][13][14]), состояния кожи, тремора, цвета и характеристик кожных покровов, движений бровей, глаз, ноздрей, ушей, рта, зрачков, увлажнения полости рта, микрорефлекторных реакций мышц и пр.

ИИ также используется для оценки текущей когнитивной нагрузки на человека[15]. В кинетике известно, что осанка и движения человека несут специфическую эмоциональную информацию. Недавно опробована система «умной подушки» с инерциальными сенсорами на запястьях — с помощью анализа осанки и жестов пользователя обеспечивается определение его эмоционального состояния, что может быть полезно для диагностики состояния работников офисов, водителей-дальнобойщиков, людей с ограниченной подвижностью и др.

Краткие сведения об эмоциях

В зависимости от индивидуальных особенностей и ситуации, человек склонен по-разному проявлять или скрывать свои эмоции и намерения (интроверсия, экстраверсия).

Эмоция определяется как психофизиологическое и психологическое состояние человека в данный момент времени[3].

Человек может по-разному определять и выражать, как у себя, так и у других, базовые эмоции — радость, страх, гнев, удивление, печаль, отвращение, а также более сложные вторичные эмоциональные состояния. Анализу поддаются также интенсивность, валентность (положительность или отрицательность) выражения эмоций — параметры, которые может учитывать искусственный интеллект.

Способность к распознаванию эмоций у себя и других зависит также от возраста, внимания, состояния зрения, слуха и функционирования сенсорных систем.

Прирождённая или приобретённая (например, вследствие травмы мозга) неспособность распознавать свои или чужие эмоции называется алекситимией. Трудности в поддержании зрительного контакта, анализе лиц и интерпретации эмоций часто наблюдаются при аутизме.

Мозг человека способен ошибаться в интерпретации эмоций: собеседник может симулировать или скрывать чувства. Например, человек может испытывать печаль, но демонстрировать улыбку и тем самым вводить окружающих в заблуждение.

Во многих культурах детей учат не проявлять или даже скрывать определённые эмоции. Макияж, вуаль, солнечные очки могут закрывать много эмоциональных сигналов.

В XXI веке исследователи в области искусственного интеллекта пытаются научить машины实时но определять эмоции на основе анализа многочисленных малозаметных и невербальных признаков, по аналогии с работой человеческого мозга.

Если автоматическая система распознавания эмоций демонстрирует сопоставимые с экспертной группой людей результаты, она считается достаточно точной (хотя реальное субъективное переживание эмоции она не фиксирует).

Алекситимики (особенно дети с аутизмом) часто не имеют чёткой внутренней картины своих эмоций и затрудняются выразить их словами, цифрами или кодами. В 2015 году Nursuriati Jamil и соавторы предложили для таких случаев оценку локомоции как альтернативу анализу лица или голоса для выявления состояния (нейтральные, радостные, грустные, сердитые).

В рамках эмоциональной информатики современные ИИ способны идентифицировать малозаметные эмоциональные паттерны, которые зачастую не улавливаются человеком[16].

Процесс осознания своих эмоций требует усилий, с которыми может помочь как психолог, так и потенциально искусственный интеллект.

Автоматическое распознавание эмоций

Многолетние исследования в области психологии, психоанализа и психиатрии, а также достижения в области обработки изображений и искусственного интеллекта привели к появлению надёжных, точных и быстрых методов автоматического распознавания эмоций.

Широко развиты методы обработки сигналов, машинного обучения, компьютерное зрение и обработка речи, в которых используются байесовские сети[17], гауссовские смесевые модели[18], скрытые марковские модели[19] и глубокое обучение с применением нейронных сетей[20].

Подходы

Методы развития сменялись от экспертных систем (2010-е) к унимодальным алгоритмическим подходам, затем комплексным мультимодальным[21]; в 2020-х появились эффективные методы мультимодального распознавания[21][22][23]. Мультимодальные системы интегрируют эмоциональные признаки из мимики, движений тела, речи и текста[24].

Выделяют три основных класса методов:

  1. основанные на знаниях;
  2. статистические;
  3. гибридные[25].

Часто отмечается, что развитие этих технологий приводит к формированию особого эмоционального слоя интернета[26].

Технологии, основанные на знаниях

Иногда называемые лексиконными, такие подходы используют экспертизу предметной области и семантику с синтаксисом языка для выявления эмоций в тексте[27].

Для классификации эмоций часто используют базы типа WordNet, SenticNet[28], ConceptNet или EmotiNet[29][30]. Преимущество — доступность и экономичность, поскольку ресурсы легкодоступны[25]. Ограничения связаны с трудностями учёта нюансов и сложных языковых правил[25].

  1. Лексические — опираются на словари эмоций и их синонимов/антонимов[31].
  2. Корпусные — расширяют базы эмоций анализом больших корпусов по заданным признакам[31]; производительность таких методов зависит от домена[32].

Статистические методы

Используют алгоритмы машинного обучения, обучаемые на размеченных данных для прогнозирования и классификации эмоций[25]. Такие методы часто более точны, но требуют объёмных качественно размеченных датасетов[25]. Среди широко используемых — метод опорных векторов, наивный байесовский классификатор, Maximum Entropy[33].

Глубокое обучение, относящееся к несупервизируемому обучению, обеспечивает значительный прогресс в распознавании эмоций[34][35][36]. Применяются архитектуры сверточных нейросетей[37], рекуррентные сети (LSTM), extreme learning machine и т. д[33]..

Популярность глубокого обучения объясняется его успехами в компьютерном зрении, распознавании речи и обработке естественного языка[33].

Гибридные подходы

Комбинируют сильные стороны и знания, и статистики[25], достигая большей эффективности, но требуют большего вычислительного ресурса и более сложной архитектуры[30]. Известные примеры — sentic computing, iFeel, интегрирующие SenticNet[38][39].

Роль семантических ресурсов в гибридных методах велика[30].

Наборы данных

Качество данных ключево для современных систем распознавания эмоций.

Однако представительные и не искажённые размеченные данные трудно получить: важно охватить разные культуры, возрастные группы и спектр эмоций[31].

Для мультимодального анализа (текст, звук, видео, физиология) используются различные датасеты:

  • HUMAINE — клипы с эмоциями и контекстом в разных модальностях[40];
  • Belfast — записи различных эмоций из ТВ-программ и интервью[41];
  • SEMAINE — аудиовизуальные беседы с виртуальным агентом, аннотированные по семи эмоциям[42];
  • IEMOCAP — диалоговые сессии между актёрами с аннотацией эмоций[43];
  • eNTERFACE — аудиовизуальные записи семи национальностей, эмоции «радость», «гнев», «грусть», «удивление», «отвращение», «страх»[44];
  • DEAP — ЭЭГ, ЭКГ, и видео с аннотациями валентности, возбуждения, доминирования по просмотру видеосюжетов[45];
  • DREAMER — ЭЭГ и ЭКГ с аннотациями по эмоциональным характеристикам[46];
  • MELD — набор многопартийных разговоров в видео, каждый сегмент размечен по эмоциям[47];
  • MuSe — аудиовизуальные данные взаимодействия человека с объектом, аннотация по валентности, возбуждению и доверительности[48];
  • UIT-VSMEC — корпус на вьетнамских соцсетях (~6927 человечески размеченных фраз), полезен для низкоресурсных языков[49];
  • BED — ЭЭГ-биометрия, запись реакций на стимулы, задачи биометрии и анализа возбуждения/валентности[50].

Применение

Распознавание эмоций применяется в разных областях:

Так, компания Affectiva (выделенная из MIT) разработала ИИ для анализа выражения лица и голоса, применяемого там, где люди согласны делиться такими данными: вместо опросов зритель, согласившись, позволяет системе снимать своё лицо и голос при просмотре ролика. Анализируются только внешние проявления (скука, интерес, улыбка и пр.), а не личные чувства. ПО помогает детям с аутизмом и незрячим, а также роботам — для более естественного взаимодействия, и системам мониторинга внимания водителей, повышая дорожную безопасность[51].

В академической сфере распознавание эмоций помогает анализу социальных процессов (чувства, выборы, протесты, демократия), в том числе через анализ мимики политиков в соцсетях — отмечается, что публичные лица чаще демонстрируют экстраверсию и радость[52][53][54].

Изучаются протесты, войны и ситуации насилия, где сложные негативные эмоции (гнев, печаль, депрессия, фрустрация, эмпатия) требуют специальных моделей[55].

В 2020-х ИИ-сервисы типа Amazon Rekognition по ряду исследований надёжно выявляют только «радость» (детекторы счастья)[52].

Snapchat в 2015 году запатентовал[56] алгоритм анализа эмоций по геолокации селфи пользователей на массовых мероприятиях[57].

Стартап Emotient занимался автоматическим определением эмоций по сочетаниям мимических движений; технология была приобретена Apple в 2016 году и используется для развития эмоциональных функций продуктов компании[58].

nViso предлагает онлайн-API для распознавания эмоций в веб- и мобильных приложениях[59]. Visage Technologies AB — инструменты оценки эмоций для маркетинга и исследований[60].

Компания Eyeris интегрирует распознавание эмоций в встраиваемые системы (автомобили, сервисные роботы и др.), а также для оценки воздействия контента[61][62].

В ряде систем собирается статистика эмоций из онлайн-метрик (лайки, тональность сообщений).

Анализ эмоций используется в игровых и VR-системах (в том числе для управления аватарами), в образовательных и коммуникативных целях.

Перспективы

С развитием мультимодального ИИ точность автоматического распознавания эмоций продолжает расти — используются текст (разговоры), аудио (модуляции голоса), изображения, видео и даже физиологические показатели.

В 2024 году исследователи из университета Ёнсе (Сеул) предложили новую модель ИИ для мультимодального анализа эмоций, интегрирующую как физиологические, так и индивидуальные и средовые данные[63].

Предлагается применять ИИ для оценки эмоционального состояния солдат во время тренировок и в реальных боевых условиях, а также при определении психологической пригодности[3].

Такие достижения могут в будущем приблизить роботов к эмоциональному интеллекту человека — способности ощущать, регулировать, выражать и интерпретировать эмоции других. Однако системам ИИ ещё далеко до таких аспектов, как:

  1. самосознание, позволяющее чувствовать и регулировать собственные эмоции;
  2. эмпатия, опирающаяся, в частности, на систему зеркальных нейронов.

Эти технологии порождают значимые этические и философские вопросы — в частности, относительно защиты личных данных и возможных предвзятостей ИИ.

Распознавание эмоций в текстах и коммуникациях

Текстовые данные (самоотчёты, анкеты, транскрипты диалогов, дневники) — удобный объект для автоматизированного анализа эмоций и бывают доступны в больших объёмах.

В отличие от других видов данных, тексты более компактны и легко обрабатываются (за счёт повтора лексики).

Эмоции могут быть извлечены из текста[64] путём поиска слов и фраз, индикаторов эмоциональных состояний[65][66].

Отдельно развивается область анализа эмоций, выраженных в устной речи (SER — speech emotion recognition)[2].

Распознавание эмоций в аудиосреде

Различие от анализа текстов состоит в том, что для распознавания эмоций используются параметры голоса и интонации[67].

Анализ эмоций в видеоданных

Видео сочетает аудио-, визуальные и иногда текстовые данные (субтитры[68]).

Распознавание эмоций в диалоге в режиме близком к реальному времени

Технологии распознавания эмоций в коммуникациях (REC) извлекают эмоции (и иногда мнения) из диалоговых данных, включая крупные массивы публикуемых на онлайн-платформах (Facebook, Twitter/X, YouTube и др.)[69]. Системы анализируют текст, голос, видео по отдельности или в комбинации; нейросети мультимодальных ИИ (например, GPT-4o) способны выявлять широкий спектр эмоций в единой архитектуре сети.

Примечания

  1. ↑ Lieberman, Matthew D.; Eisenberger, Naomi I.; Crockett, Molly J.; Tom, Sabrina M. (май 2007). “Putting Feelings Into Words”. Psychological Science [англ.]. 18 (5): 421—428. DOI:10.1111/j.1467-9280.2007.01916.x. Дата обращения 2024-05-20. Проверьте дату в |date= (справка на английском)
  2. ↑ 1 2 Ülgen Sönmez, Yeşim; Varol, Asaf (июнь 2024). “In-depth investigation of speech emotion recognition studies from past to present – The importance of emotion recognition from speech signal for AI –”. Intelligent Systems with Applications [англ.]. 22. DOI:10.1016/j.iswa.2024.200351. Проверьте дату в |date= (справка на английском)
  3. ↑ Lucey, P.; Cohn, J. F.; Matthews, I.; Lucey, S. (июнь 2011). “Automatically Detecting Pain in Video Through Facial Action Units”. IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics) [англ.]. 41 (3): 664—674. DOI:10.1109/TSMCB.2010.2082525. PMID 21097382. Дата обращения 2024-05-20. Проверьте дату в |date= (справка на английском)
  4. ↑ 1 2 Feinberg, Todd E. (1 марта 1986). “Facial Discrimination and Emotional Recognition in Schizophrenia and Affective Disorders”. Archives of General Psychiatry [англ.]. 43 (3): 276. DOI:10.1001/archpsyc.1986.01800030094010. Дата обращения 2024-05-20..
  5. ↑ Dar, Muhammad Najam; Akram, Muhammad Usman; Yuvaraj, Rajamanickam; Gul Khawaja, Sajid (май 2022). “EEG-based emotion charting for Parkinson's disease patients using Convolutional Recurrent Neural Networks and cross dataset learning”. Computers in Biology and Medicine [англ.]. 144: 105327. DOI:10.1016/j.compbiomed.2022.105327. Дата обращения 2024-05-20. Проверьте дату в |date= (справка на английском)
  6. ↑ Jasim, Sarah Saadoon; Abdul Hassan, Alia Karim (1 июня 2022). “Modern drowsiness detection techniques: a review”. International Journal of Electrical and Computer Engineering (IJECE) [англ.]. 12 (3): 2986. DOI:10.11591/ijece.v12i3.pp2986-2995. Дата обращения 2024-05-20.
  7. ↑ 1 2 Sun, Junwei; Han, Juntao; Wang, Yanfeng; Liu, Peng (июнь 2021). “Memristor-Based Neural Network Circuit of Emotion Congruent Memory With Mental Fatigue and Emotion Inhibition”. IEEE Transactions on Biomedical Circuits and Systems [англ.]. 15 (3): 606—616. DOI:10.1109/TBCAS.2021.3090786. Дата обращения 2024-05-20. Проверьте дату в |date= (справка на английском)
  8. ↑ Islam, Md. Milon; Nooruddin, Sheikh; Karray, Fakhri; Muhammad, Ghulam (август 2024). “Enhanced multimodal emotion recognition in healthcare analytics: A deep learning based model-level fusion approach”. Biomedical Signal Processing and Control [англ.]. 94: 106241. DOI:10.1016/j.bspc.2024.106241. Дата обращения 2024-05-20. Проверьте дату в |date= (справка на английском)
  9. ↑ Wang, Zhirong; Chen, Ming; Feng, Guofu (2023). “Study on Driver Cross-Subject Emotion Recognition Based on Raw Multi-Channels EEG Data”. Electronics [англ.]. 12 (11): 2359. DOI:10.3390/electronics12112359. Дата обращения 2024-05-20.
  10. ↑ 1 2 Kamble, Kranti; Sengupta, Joydeep (1 июля 2023). “A comprehensive survey on emotion recognition based on electroencephalograph (EEG) signals”. Multimedia Tools and Applications [англ.]. 82 (18): 27269—27304. DOI:10.1007/s11042-023-14489-9. Дата обращения 2024-05-20.
  11. ↑ Ul Hassan, Ietezaz; Ali, Raja Hashim; Abideen, Zain ul; Ijaz, Ali Zeeshan (декабрь 2023). “Towards Effective Emotion Detection: A Comprehensive Machine Learning Approach on EEG Signals”. BioMedInformatics [англ.]. 3 (4): 1083—1100. DOI:10.3390/biomedinformatics3040065. Дата обращения 2024-05-20. Проверьте дату в |date= (справка на английском)
  12. ↑ Revanth, Baloju. Multi-Channel EEG-based Multi-Class Emotion Recognition From Multiple Frequency Bands : [англ.] / Baloju Revanth, Sakshi Gupta, Prakhar Dubey … [et al.]. — IEEE, 5 апреля 2023. — ISBN 979-8-3503-1071-9. — doi:10.1109/PCEMS58491.2023.10136120.
  13. ↑ Phukan, Arpan; Gupta, Deepak (1 марта 2024). “Deep feature extraction from EEG signals using xception model for emotion classification”. Multimedia Tools and Applications [англ.]. 83 (11): 33445—33463. DOI:10.1007/s11042-023-16941-2. Дата обращения 2024-05-20.
  14. ↑ Wilson, Glenn F.; Russell, Christopher A. (декабрь 2003). “Real-Time Assessment of Mental Workload Using Psychophysiological Measures and Artificial Neural Networks”. Human Factors: The Journal of the Human Factors and Ergonomics Society [англ.]. 45 (4): 635—644. DOI:10.1518/hfes.45.4.635.27088. Дата обращения 2024-05-20. Проверьте дату в |date= (справка на английском)
  15. ↑ Wang, Yan; Song, Wei; Tao, Wei; Liotta, Antonio (июль 2022). “A systematic review on affective computing: emotion models, databases, and recent advances”. Information Fusion [англ.]. 83-84: 19—52. DOI:10.1016/j.inffus.2022.03.009. Дата обращения 2024-05-20. Проверьте дату в |date= (справка на английском)
  16. ↑ Yoshihiro Miyakoshi, Shohei Kato, "Facial Emotion Detection Considering Partial Occlusion Of Face Using Bayesian Network", Computers and Informatics, 2011, с. 96–101.
  17. ↑ Hari Krishna Vydana, P. Phani Kumar, K. Sri Rama Krishna, Anil Kumar Vuppala, "Improved emotion recognition using GMM-UBMs", 2015 International Conference on Signal Processing and Communication Engineering Systems.
  18. ↑ B. Schuller, G. Rigoll, M. Lang, "Hidden Markov model-based speech emotion recognition", ICME '03. Proceedings. 2003 International Conference on Multimedia and Expo, 2003.
  19. ↑ Singh, Premjeet. 2021 International Conference on Computer Communication and Informatics (ICCCI) : [англ.] / Premjeet Singh, Goutam Saha, Md Sahidullah. — 2021. — P. 1–4. — ISBN 978-1-7281-5875-4. — doi:10.1109/ICCCI50826.2021.9402569.
  20. ↑ 1 2 Poria, Soujanya; Cambria, Erik; Bajpai, Rajiv; Hussain, Amir (сентябрь 2017). “A review of affective computing: From unimodal analysis to multimodal fusion”. Information Fusion [англ.]. 37: 98–125. DOI:10.1016/j.inffus.2017.02.003. Дата обращения 2024-05-20. Проверьте дату в |date= (справка на английском)
  21. ↑ A. V., Geetha; T., Mala; D., Priyanka; E., Uma (май 2024). “Multimodal Emotion Recognition with Deep Learning: Advancements, challenges, and future directions”. Information Fusion [англ.]. 105: 102218. DOI:10.1016/j.inffus.2023.102218. Дата обращения 2024-05-20. Проверьте дату в |date= (справка на английском)
  22. ↑ Shoumy, Nusrat J.; Ang, Li-Minn; Seng, Kah Phooi; Rahaman, D.M.Motiur (январь 2020). “Multimodal big data affective analytics: A comprehensive survey using text, audio, visual and physiological signals”. Journal of Network and Computer Applications [англ.]. 149: 102447. DOI:10.1016/j.jnca.2019.102447. Дата обращения 2024-05-20. Проверьте дату в |date= (справка на английском)
  23. ↑ Caridakis, George. Artificial Intelligence and Innovations 2007: From Theory to Applications : [англ.] / George Caridakis, Ginevra Castellano, Loic Kessous … [et al.]. — 19 сентября 2007. — Vol. 247. — P. 375–388. — ISBN 978-0-387-74160-4. — doi:10.1007/978-0-387-74161-1_41.
  24. ↑ 1 2 3 4 5 6 Cambria, Erik (март 2016). “Affective Computing and Sentiment Analysis”. IEEE Intelligent Systems [англ.]. 31 (2): 102—107. DOI:10.1109/MIS.2016.31. Проверьте дату в |date= (справка на английском)
  25. ↑ Price Tapping Into The Emotional Internet (амер. англ.). TechCrunch (23 августа 2015). Дата обращения: 12 декабря 2018. Архивировано 24 августа 2015 года.
  26. ↑ Taboada, Maite; Brooke, Julian; Tofiloski, Milan; Voll, Kimberly (июнь 2011). “Lexicon-Based Methods for Sentiment Analysis”. Computational Linguistics [англ.]. 37 (2): 267—307. DOI:10.1162/coli_a_00049. Проверьте дату в |date= (справка на английском)
  27. ↑ Cambria, Erik; Liu, Qian (2022). SenticNet 7: A Commonsense-based Neurosymbolic AI Framework for Explainable Sentiment Analysis (PDF). Proceedings of LREC [англ.]. pp. 3829—3839.
  28. ↑ Balahur, Alexandra; Hermida, Jesús M; Montoyo, Andrés (1 ноября 2012). “Detecting implicit expressions of emotion in text: A comparative analysis”. Decision Support Systems [англ.]. 53 (4): 742—753. DOI:10.1016/j.dss.2012.05.024. Дата обращения 2024-05-20.
  29. ↑ 1 2 3 Medhat, Walaa; Hassan, Ahmed; Korashy, Hoda (декабрь 2014). “Sentiment analysis algorithms and applications: A survey”. Ain Shams Engineering Journal [англ.]. 5 (4): 1093—1113. DOI:10.1016/j.asej.2014.04.011. Проверьте дату в |date= (справка на английском)
  30. ↑ 1 2 3 Madhoushi, Zohreh. 2015 Science and Information Conference (SAI) : [англ.] / Zohreh Madhoushi, Abdul Razak Hamdan, Suhaila Zainudin. — 2015. — P. 288–291. — ISBN 978-1-4799-8547-0. — doi:10.1109/SAI.2015.7237157.
  31. ↑ Hemmatian, Fatemeh; Sohrabi, Mohammad Karim (18 декабря 2017). “A survey on classification techniques for opinion mining and sentiment analysis”. Artificial Intelligence Review [англ.]. 52 (3): 1495—1545. DOI:10.1007/s10462-017-9599-6.
  32. ↑ 1 2 3 Sun, Shiliang; Luo, Chen; Chen, Junyu (июль 2017). “A review of natural language processing techniques for opinion mining systems”. Information Fusion [англ.]. 36: 10–25. DOI:10.1016/j.inffus.2016.10.004. Проверьте дату в |date= (справка на английском)
  33. ↑ Majumder, Navonil; Poria, Soujanya; Gelbukh, Alexander; Cambria, Erik (март 2017). “Deep Learning-Based Document Modeling for Personality Detection from Text”. IEEE Intelligent Systems [англ.]. 32 (2): 74–79. DOI:10.1109/MIS.2017.23. Проверьте дату в |date= (справка на английском)
  34. ↑ Mahendhiran, P. D.; Kannimuthu, S. (май 2018). “Deep Learning Techniques for Polarity Classification in Multimodal Sentiment Analysis”. International Journal of Information Technology & Decision Making [англ.]. 17 (3): 883–910. DOI:10.1142/S0219622018500128. Проверьте дату в |date= (справка на английском)
  35. ↑ Yu, Hongliang. Temporally Selective Attention Model for Social and Affective State Recognition in Multimedia Content : [англ.] / Hongliang Yu, Liangke Gui, Michael Madaio … [et al.]. — ACM, 23 октября 2017. — P. 1743-1751. — ISBN 978-1-4503-4906-2. — doi:10.1145/3123266.3123413.
  36. ↑ Issa, Dias; Demirci, M. Fatih; Yazici, Adnan (май 2020). “Speech emotion recognition with deep convolutional neural networks”. Biomedical Signal Processing and Control [англ.]. 59. DOI:10.1016/j.bspc.2020.101894. Проверьте дату в |date= (справка на английском)
  37. ↑ Cambria, Erik. Sentic Computing: A Common-Sense-Based Framework for Concept-Level Sentiment Analysis : [англ.] / Erik Cambria, Amir Hussain. — Springer Publishing Company, 2015. — ISBN 978-3319236537.
  38. ↑ Araújo, Matheus. Proceedings of the 23rd International Conference on World Wide Web : [англ.] / Matheus Araújo, Pollyanna Gonçalves, Meeyoung Cha … [et al.]. — ACM, 7 апреля 2014. — P. 75–78. — ISBN 9781450327459. — doi:10.1145/2567948.2577013.
  39. ↑ Emotion-oriented systems the humaine handbook. — Berlin : Springer, 2011. — ISBN 978-3-642-15184-2.
  40. ↑ Douglas-Cowie, Ellen; Campbell, Nick; Cowie, Roddy; Roach, Peter (1 апреля 2003). “Emotional speech: towards a new generation of databases”. Speech Communication [англ.]. 40 (1—2): 33—60. DOI:10.1016/S0167-6393(02)00070-5. Дата обращения 2024-05-20.
  41. ↑ McKeown, G.; Valstar, M.; Cowie, R.; Pantic, M. (январь 2012). “The SEMAINE Database: Annotated Multimodal Records of Emotionally Colored Conversations between a Person and a Limited Agent”. IEEE Transactions on Affective Computing [англ.]. 3 (1): 5—17. DOI:10.1109/T-AFFC.2011.20. Дата обращения 2024-05-20. Проверьте дату в |date= (справка на английском)
  42. ↑ Busso, Carlos; Bulut, Murtaza; Lee, Chi-Chun; Kazemzadeh, Abe (5 ноября 2008). “IEMOCAP: interactive emotional dyadic motion capture database”. Language Resources and Evaluation [англ.]. 42 (4): 335—359. DOI:10.1007/s10579-008-9076-6.
  43. ↑ Martin, O. 22nd International Conference on Data Engineering Workshops (ICDEW'06) : [англ.] / O. Martin, I. Kotsia, B. Macq … [et al.]. — IEEE Computer Society, 3 апреля 2006. — P. 8–. — ISBN 9780769525716. — doi:10.1109/ICDEW.2006.145.
  44. ↑ Koelstra, Sander; Muhl, Christian; Soleymani, Mohammad; Lee, Jong-Seok (январь 2012). “DEAP: A Database for Emotion Analysis Using Physiological Signals”. IEEE Transactions on Affective Computing [англ.]. 3 (1): 18—31. DOI:10.1109/T-AFFC.2011.15. Проверьте дату в |date= (справка на английском)
  45. ↑ Katsigiannis, Stamos; Ramzan, Naeem (январь 2018). “DREAMER: A Database for Emotion Recognition Through EEG and ECG Signals From Wireless Low-cost Off-the-Shelf Devices” (PDF). IEEE Journal of Biomedical and Health Informatics [англ.]. 22 (1): 98—107. DOI:10.1109/JBHI.2017.2688239. Архивировано из оригинала (PDF) 1 ноября 2022. Дата обращения 2024-05-20. Проверьте дату в |date= (справка на английском)
  46. ↑ Poria, Soujanya; Hazarika, Devamanyu; Majumder, Navonil; Naik, Gautam (2019). “MELD: A Multimodal Multi-Party Dataset for Emotion Recognition in Conversations”. Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics [англ.]. Association for Computational Linguistics: 527—536. DOI:10.18653/v1/p19-1050.
  47. ↑ Stappen, Lukas. Proceedings of the 28th ACM International Conference on Multimedia : [англ.] / Lukas Stappen, Björn Schuller, Iulia Lefter … [et al.]. — Association for Computing Machinery, 2020. — P. 4769–4770. — ISBN 9781450379885. — doi:10.1145/3394171.3421901.
  48. ↑ Ho, Vong. Computational Linguistics : [англ.]. — 2020. — Vol. 1215. — P. 319–333. — ISBN 978-981-15-6167-2. — doi:10.1007/978-981-15-6168-9_27.
  49. ↑ Arnau-González, Pablo; Katsigiannis, Stamos; Arevalillo-Herráez, Miguel; Ramzan, Naeem (февраль 2021). “BED: A new dataset for EEG-based biometrics”. IEEE Internet of Things Journal [англ.] (15): 1. DOI:10.1109/JIOT.2021.3061727. Проверьте дату в |date= (справка на английском)
  50. ↑ Affectiva (англ.). Дата обращения: 20 мая 2024.
  51. ↑ 1 2 Bossetta, Michael; Schmøkel, Rasmus (2 января 2023). “Cross-Platform Emotions and Audience Engagement in Social Media Political Campaigning: Comparing Candidates' Facebook and Instagram Images in the 2020 US Election”. Political Communication [англ.]. 40 (1): 48—68. DOI:10.1080/10584609.2022.2128949.
  52. ↑ Peng, Yilang (январь 2021). “What Makes Politicians' Instagram Posts Popular? Analyzing Social Media Strategies of Candidates and Office Holders with Computer Vision”. The International Journal of Press/Politics [англ.]. 26 (1): 143—166. DOI:10.1177/1940161220964769. Дата обращения 2024-05-20. Проверьте дату в |date= (справка на английском)
  53. ↑ Haim, Mario; Jungblut, Marc (15 марта 2021). “Politicians' Self-depiction and Their News Portrayal: Evidence from 28 Countries Using Visual Computational Analysis”. Political Communication [англ.]. 38 (1—2): 55—74. DOI:10.1080/10584609.2020.1753869. Дата обращения 2024-05-20.
  54. ↑ Won, Donghyeon. Proceedings of the 25th ACM international conference on Multimedia : [англ.] / Donghyeon Won, Zachary C. Steinert-Threlkeld, Jungseock Joo. — New York, NY, USA : Association for Computing Machinery, 19 октября 2017. — P. 786–794. — ISBN 978-1-4503-4906-2. — doi:10.1145/3123266.3123282.
  55. ↑ https://pdfpiw.uspto.gov/.piw?PageNum=0&docid=10061977&IDKey=20D25A962A60&HomeUrl=http%3A%2F%2Fpatft.uspto.gov%2Fnetacgi%2Fnph-Parser%3FSect2%3DPTO1%2526Sect2%3DHITOFF%2526p%3D1%2526u%3D%2Fnetahtml%2FPTO%2Fsearch-bool.html%2526r%3D1%2526f%3DG%2526l%3D50%2526d%3DPALL%2526S1%3D10061977.PN.%2526OS%3DPN%2F10061977%2526RS%3DPN%2F10061977
  56. ↑ Bushwick, Sophie This Video Watches You Back (англ.). Scientific American. Дата обращения: 27 января 2020. Архивировано 17 апреля 2025 года.
  57. ↑ DeMuth Jr., Chris. Apple Reads Your Mind (англ.), M&A Daily, Seeking Alpha (8 January 2016). Архивировано 30 ноября 2024 года. Дата обращения: 9 января 2016.
  58. ↑ nViso (англ.). nViso.ch. Дата обращения: 20 мая 2024.
  59. ↑ Visage Technologies (англ.). Дата обращения: 20 мая 2024. Архивировано 12 января 2016 года.
  60. ↑ Feeling sad, angry? Your future car will know. Дата обращения: 20 мая 2024. Архивировано 21 сентября 2024 года.
  61. ↑ Cars May Soon Warn Drivers Before They Nod Off, Huffington Post (22 марта 2016). Архивировано 23 марта 2016 года. Дата обращения: 20 мая 2024.
  62. ↑ Kim, Hakpyeong; HongShow, Taehoon (1 сентября 2024). “Enhancing emotion recognition using multimodal fusion of physiological, environmental, personal data”. Expert Systems with Applications [англ.]. 249, Part B. DOI:10.1016/j.eswa.2024.123723.
  63. ↑ Shivhare, S. N., Кетхава, S. (2012). Emotion detection from text. arXiv preprint arXiv:1205.4944
  64. ↑ Ezhilarasi, R., Minu, R. I. (2012). Automatic emotion recognition and classification. Procedia Engineering, 38, 21-26.
  65. ↑ Krcadinac, U., Pasquier, P., Jovanovic, J., Devedzic, V. (2013). Synesketch: An open source library for sentence-based emotion recognition. IEEE Transactions on Affective Computing, 4(3), 312-325.
  66. ↑ Schmitt, M., Ringeval, F., Schuller, B. W. (2016). At the Border of Acoustics and Linguistics: Bag-of-Audio-Words for the Recognition of Emotions in Speech. Interspeech, 495-499.
  67. ↑ Dhall, A., Goecke, R., Lucey, S., Gedeon, T. (2012). Collecting large, richly annotated facial-expression databases from movies. IEEE multimedia, (3), 34-41.
  68. ↑ Poria, S., Majumder, N., Mihalcea, R., Hovy, E. (2019). Emotion recognition in conversation: Research challenges, datasets, and recent advances. IEEE Access, 7, 100943-100953.

Литература

Категории