АссистентНовый вопросИсторияОбласти знаний
Партнёрские проектыСпецпроектыСтать автором
Сменить язык
О РУВИКИ

Автоматическое распознавание контента


Автоматическое распознавание контента (АРК) — технология, используемая для идентификации контента, воспроизводимого на медиаплеере или представленного в медиафайле. Устройства с АРК позволяют автоматически собирать информацию о потреблении контента непосредственно на уровне экрана или динамика, без участия пользователя или необходимости поиска. Эта информация может собираться для таких целей, как персонализированная реклама, рекомендации контента или продажа компаниям, агрегирующим данные о клиентах[1][2].

Принцип работы

Для запуска процесса короткий медиаклип (аудио, видео или оба варианта) выбирается из медиафайла или захватывается с устройства, такого как смарт-ТВ. С помощью фингерпринтинга и водяных знаков выбранный контент сравнивается программным обеспечением АРК с базой данных известных записей[2]. Если отпечаток медиаклипа совпадает с записью, программное обеспечение АРК возвращает соответствующие метаданные о медиа, а также другой связанный или рекомендуемый контент клиентскому приложению для отображения пользователю или для сбора производителем устройства либо компанией, собирающей пользовательские данные[1].

Фингерпринты и водяные знаки

Две основные методологии для аудиобазированного АРК — это акустический фингерпринтинг и использование водяных знаков. Аналогично, видео фингерпринтинг используется для распознавания визуального медиа.

Акустический фингерпринтинг генерирует уникальные отпечатки непосредственно из аудиоконтента. Технологии фингерпринтинга не зависят от формата контента, кодека, битрейта и методов сжатия[3]. Это делает возможным применение акустического фингерпринтинга в различных сетях и каналах и широко используется в интерактивном телевидении, приложениях второго экрана и для мониторинга контента[4][5]. Популярные приложения, такие как Shazam, YouTube, TheTake, WeChat и Weibo используют методологию аудиофингерпринтинга для распознавания контента, воспроизводимого с телевизора, чтобы запускать дополнительные функции, такие как голосования, лотереи, темы или покупки.

В отличие от фингерпринтинга, использование цифровых водяных знаков требует включения цифровых «тегов», встроенных в поток цифрового контента до его распространения. Например, вещательный энкодер может вставлять водяной знак каждые несколько секунд, который может использоваться для идентификации вещательного канала, идентификатора программы и временной метки. Такой водяной знак обычно не слышен или не виден пользователям, но может быть обнаружен устройствами отображения, такими как телефоны или планшеты, которые могут считывать водяные знаки для идентификации воспроизводимого контента[5]. Технология водяных знаков также используется в области защиты медиа для определения источника нелегальных копий[6].

История

В 2011 году технология АРК была применена к телевизионному контенту сервисом Shazam, что привлекло внимание телевизионной индустрии. Shazam ранее был сервисом распознавания музыки по аудиозаписям. Используя собственную технологию фингерпринтинга для идентификации прямых каналов и видео, Shazam расширил свой бизнес на телевидение. Также в 2011 году компания Samba TV (тогда известная как Flingo[7]) представила свою запатентованную технологию видео-АРК, которая использует видеофингерпринтинг для идентификации контента на экране и обеспечивает работу кроссплатформенных интерактивных ТВ-приложений на смарт-ТВ[8]. В 2012 году провайдер спутниковой связи DIRECTV объединился с компанией Viggle, предоставляющей сервисы лояльности для ТВ, чтобы предложить интерактивный просмотр на втором экране.

В 2013 году LG заключила партнёрство с Cognitive Networks (позже приобретённой компанией Vizio и переименованной в Inscape), поставщиком АРК, для предоставления интерактивных возможностей на основе АРК[9]. В 2015 году технология АРК распространилась на ещё большее количество приложений и смарт-ТВ. Социальные приложения и производители телевизоров, такие как Google, WeChat, Weibo, LG, Samsung, Vizio и др., использовали технологию АРК, разработанную самостоятельно или интегрированную сторонними поставщиками. В 2016 году появились дополнительные приложения и мобильные ОС с интегрированными сервисами автоматического распознавания контента, включая Peach, Omusic и Mi OS[10][11][12].

Применение

  • Реклама и сбор данных о клиентах: Данные о привычках потребления медиа могут быть очень ценными для производителей устройств, рекламодателей и компаний, занимающихся агрегацией данных. Технология АРК помогает этим компаниям анализировать интересы клиентов и собирать данные, чтобы более точно таргетировать их с помощью персонализированных маркетинговых и рекламных кампаний. В ноябре 2021 года сообщалось, что производитель смарт-телевизоров Vizio получил больше прибыли от продажи данных о своих клиентах, чем от продажи самих телевизоров[13].
  • Измерение аудитории: Метрики измерения аудитории в реальном времени теперь доступны благодаря внедрению технологии АРК в смарт-ТВ, приставки и мобильные устройства, такие как смартфоны и планшеты. Эти данные необходимы для количественной оценки потребления аудитории и установления ценовой политики на рекламу.
  • Идентификация контента: Технология АРК помогает пользователям получать информацию о просмотренном или прослушанном контенте[14]. Идентифицированный видео- и музыкальный контент может быть связан с интернет-провайдерами для просмотра по запросу, сторонними сервисами для получения дополнительной информации или дополнительными медиа.
  • Улучшение контента: Поскольку устройства могут «знать» о воспроизводимом контенте, устройства второго экрана могут предоставлять пользователям дополнительный контент сверх того, что отображается на основном экране. Технология АРК может не только идентифицировать контент, но и определять точное место внутри контента и предоставлять пользователям дополнительную информацию. АРК также может обеспечивать различные интерактивные функции, такие как опросы, купоны, лотереи или покупка товаров по временной метке[15].

Проблемы конфиденциальности

Организации, начиная от правозащитников, таких как Electronic Frontier Foundation, до технических сайтов, таких как PCMag, выражали серьёзные опасения по поводу сбора данных о привычках просмотра пользователей их устройствами с точки зрения конфиденциальности[16][17].

Исследования

Проведённые в 2024 году тесты в Великобритании и США несколькими университетами Великобритании, США и Испании с использованием определённых моделей телевизоров LG и Samsung показали, что эти устройства создают постоянный и регулярный сетевой трафик: во время тестов устройства LG отправляли цифровые отпечатки каждые 15 секунд, а Samsung — каждую минуту на определённые сетевые домены. Было установлено, что АРК может не захватывать кадры стороннего контента, такого как Netflix, из-за авторских прав и сложных условий с конкурентными агрегаторами, которые ограничивают АРК для собственных методов. АРК работает, когда телевизор используется только как HDMI-дисплей, кроме регистрации в сервисах производителя телевизора, и функционирует по-разному в Великобритании и США из-за различий в законодательном регулировании. Передача данных АРК прекращается при использовании механизма отказа от отслеживания[18].

Примечания

  1. ↑ 1 2 Automated content recognition creating content aware ecosystems. Civolution. Дата обращения: 24 июня 2015. Архивировано 23 сентября 2015 года.
  2. ↑ 1 2 ACR(Automatic Content Recognition). ACRCloud Docs. Дата обращения: 27 февраля 2017. Архивировано 28 февраля 2017 года.
  3. ↑ Six, Joren; Leman, Marc Panako: a scalable acoustic fingerprinting system handling time-scale and pitch modification. Universiteit Gent (27 октября 2014). Дата обращения: 27 февраля 2017.
  4. ↑ Main, Sami. Nielsen Is Bringing Real-Time Interactive Ads to Smart TVs to Keep Streaming Audiences Engaged (англ.), Adweek (19 сентября 2017). Дата обращения: 11 января 2018.
  5. ↑ 1 2 Brink, Kyle A Primer on Automated Content. Viggle. Дата обращения: 22 июня 2015. Архивировано 24 июня 2015 года.
  6. ↑ Solana, Anna. How these hidden video watermarks can help spot piracy, doctored images (англ.), ZDNet (17 August 2017). Дата обращения: 11 января 2018.
  7. ↑ Baumgartner, Jeff Flingo Rebrands as Samba TV (англ.). Multichannel News (24 сентября 2013). Дата обращения: 5 октября 2021.
  8. ↑ Swedlow, Tracy Interactive TV News Round-Up (II): Flingo, Hulu, ITU. ITVT (7 июля 2011). Архивировано 9 июля 2011 года.
  9. ↑ Gorman, Michael LG partners with Cognitive Networks to make Smart TVs smarter and more interactive. engadget (29 августа 2013). Дата обращения: 23 августа 2016.
  10. ↑ ACRCloud Powers Song Recognition For Hottest New Social Network, Peach. Music Industry News Network (4 января 2016). Дата обращения: 3 марта 2016. Архивировано 8 марта 2016 года.
  11. ↑ Victoria, Ho Xiaomi will help you name that song you can't stop humming. Mashable (16 февраля 2016). Дата обращения: 3 марта 2016.
  12. ↑ ACRCloud Powers The Launch Of Taiwan's First Music/Humming Recognition Service For Omusic. Music Industry News Network (11 января 2016). Дата обращения: 3 марта 2016. Архивировано 8 марта 2016 года.
  13. ↑ Press Release: VIZIO HOLDING CORP. Reports Q3 2021 Financial Results. Vizio Holding News (9 ноября 2021). Дата обращения: 3 апреля 2025.
  14. ↑ Weiss, Tom Tom Weiss: Breaking the barriers to addressable advertising in Europe. Broadband TV News (23 января 2018). Дата обращения: 30 августа 2018.
  15. ↑ Wolf, Michael Three Ways Automatic Content Recognition Will Change TV. Forbes. Дата обращения: 20 июня 2015.
  16. ↑ Derene, Glenn Samsung, LG, and Vizio smart TVs are recording—and sharing data about—everything you watch Consumer Reports investigates the information brokers who want to turn your viewing habits into cash. Consumer Reports (27 февраля 2015). Дата обращения: 27 февраля 2017.
  17. ↑ Whitney, Lance How to Stop Smart TVs From Snooping on You (англ.). PCMAG (20 февраля 2024). Дата обращения: 22 ноября 2021.
  18. ↑ Anselmi, Gianluca; Vekaria, Yash; D'Souza, Alexander; Callejo, Patricia; Anna Maria Mandalari & Shafiq, Zubair (2024), Watching TV with the Second-Party: A First Look at Automatic Content Recognition Tracking in Smart TVS, arΧiv:2409.06203v1 [cs.CR]. 

Категории