Аудиосинхронизатор
Аудиосинхронизатор — переменная задержка аудиосигнала, используемая для корректировки или поддержания синхронизации аудио и видео или временных характеристик[1], также известная как ошибка синхронизации губ. Современные системы телевидения используют значительное количество обработки видеосигнала: предварительная обработка MPEG, кодирование и декодирование, синхронизация видео и преобразование разрешения в пикселизированных дисплеях. Такая обработка видео может вызывать задержки видеосигнала от нескольких микросекунд до десятков секунд. Если телевизионная программа отображается зрителю с задержкой видео, синхронизация аудио и видео нарушается, и изображение появляется после того, как звук уже был услышан. Этот эффект обычно называют ошибкой синхронизации A/V или ошибка синхронизации губ, и он может серьёзно повлиять на восприятие программы зрителем. Спецификация по синхронизации аудио и видео приведена в документе ATSC IS-191[2].
Коррекция ошибок
Для устранения проблем синхронизации аудио и видео видеопроцессор формирует сигнал DDO (выход цифровой задержки), который содержит информацию о величине задержки видеосигнала, вызванной обработкой видео. DDO, например, может формироваться оборудованием, соответствующим стандарту SMPTE[3] Audio to Video Synchronization. Аудиосинхронизатор получает сигнал DDO и, в ответ, задерживает аудиосигнал на эквивалентную величину, тем самым поддерживая правильную синхронизацию аудио и видео. Современные аудиосинхронизаторы работают путём оцифровки и записи аудиосигнала в кольцевую память, которая чаще всего реализована на основе RAM и обладает независимыми возможностями чтения и записи. В соответствующий момент времени задержки (как указано DDO) после записи аудиосемпла (или группы семплов) в память, ранее сохранённый аудиосемпл считывается из кольцевой памяти. Запись и чтение аудиосемплов происходят непрерывно в соответствии с адресами записи и чтения памяти, которые увеличиваются на 1 при каждой операции записи или чтения. Например, аудиосемпл записывается по адресу 1, другой семпл считывается с (ранее записанного) адреса 5, следующий семпл записывается по адресу 2, ещё один считывается с 6, запись по 3, чтение с 7 и так далее. Задержка между записью и чтением определённого семпла составляет 4 адреса, что при умножении на время перехода от одного адреса к другому даёт общую задержку аудиосигнала.
Отслеживание изменений
Задержки видео часто быстро и значительно изменяются, например, возможен скачок времени задержки с 2 до 6 секунд. Для поддержания правильной синхронизации аудио и видео задержка аудио должна отслеживать эти изменения задержки видео. Изменение задержки аудио требует изменения разницы между адресом записи и адресом чтения. Это можно сделать, заставив адрес записи или чтения перескочить вперёд или назад, однако такой скачок приводит к повторению или потере некоторых аудиосемплов, что вызывает нежелательные и раздражающие щелчки, пропуски, искажения и/или шум в аудиосигнале. Некоторые аудиосинхронизаторы работают, выполняя многократные очень небольшие скачки, что вызывает нежелательные (но менее заметные) искажения и шум в аудиосигнале, вместо щелчков, пропусков и пауз. Другие аудиосинхронизаторы изменяют задержку путём изменения скорости чтения аудио из кольцевой памяти. Если аудиосемплы считываются из памяти медленнее, чем записываются, задержка увеличивается. Если аудиосемплы считываются быстрее, чем записываются, задержка уменьшается. Использование переменной скорости чтения предотвращает появление щелчков, пропусков, пауз, искажений и шума в аудио, но приводит к нежелательным и раздражающим ошибкам высоты тона. Например, чтение быстрее записи увеличивает высоту тона, а чтение медленнее записи уменьшает высоту тона.
Переменная скорость чтения
Аудиосинхронизаторы с переменной скоростью чтения обычно предпочтительнее в профессиональных приложениях. Управление задержкой аудио, как правило, более точно и проще реализуется. Ошибки высоты тона в устройствах с более низкой производительностью не компенсируются и удерживаются на уровне, который обычно не воспринимается средним зрителем, за счёт ограничения величины изменения скорости чтения. Обычно предел изменения составляет порядка 0,2 %. Однако это ограничивает скорость изменения задержки, и при больших изменениях задержки видео медленная скорость отслеживания таких некомпенсированных синхронизаторов может приводить к рассинхронизации аудио и видео на несколько секунд или минут, пока задержка аудио не догонит задержку видео. Кроме того, слушатели с хорошим слухом могут заметить и быть раздражены даже такими небольшими ошибками высоты тона.
Цепь коррекции высоты тона
В аудиосинхронизаторах с более высокой производительностью скорость изменения задержки может быть значительно выше, обычно порядка 25 %, а возникающая ошибка высоты тона корректируется с помощью цепи коррекции высоты тона. Схемы коррекции высоты тона часто являются запатентованными разработками из-за сложности выполнения коррекции так, чтобы ошибки были незаметны даже для требовательных слушателей. Такие высокопроизводительные аудиосинхронизаторы позволяют задержке аудио отслеживать даже большие и быстрые изменения задержки видео без появления каких-либо артефактов, заметных даже для критически настроенных слушателей при большинстве аудиопрограмм.
Новейшие разработки
Современные устройства обработки видео позволяют заранее определять необходимость значительного изменения задержки видео и передавать эту информацию аудиосинхронизатору. Такое «предварительное уведомление» от устройства обработки видео позволяет аудиосинхронизатору заранее подготовиться и использовать определённые участки аудиоматериала (например, периоды относительной тишины или отсутствие музыки) для осуществления соответствующих больших изменений задержки аудио без риска появления заметных артефактов. Дальнейшие разработки позволяют реализовать согласование между устройством обработки видео и аудиосинхронизатором для управления моментом изменения задержки видео с целью оптимизации времени изменения отслеживаемой задержки аудио, что дополнительно снижает риск появления заметных артефактов и одновременно уменьшает риск рассинхронизации из-за быстрых изменений задержки видео.