Распознавание речи

Технологии распознавания речи формировались десятилетиями, и их развитие было ускорено с появлением глубокого обучения и массовым использованием больших данных. Прогресс отражается в росте научных публикаций^[3] и росте внедряемости систем^[4].

Ключевые вехи развития — увеличение размера словарей, повышение точности для незнакомых говорящих, а также скорость обработки.

• 1952 — исследователи Bell Labs Стивен Балашек^[5], Р. Биддалф и К. Х. Дэвис создали Audrey для распознавания цифр от одного диктора. Система анализировала форманты в спектре мощности каждой реплики^[6].
• 1960 — Гуннар Фант предложил и опубликовал модель источника-фильтра для производства речи.
• 1962 — «Shoebox» компании IBM (на 16 слов) был представлен на Всемирной выставке^[7].
• 1966 — предложена линейная предиктивная кодировка, метод сжатия речевых сигналов (Фумитада Итакура, Нагоя; Сюдзо Сайто, Ниппон Телеграф энд Телефон)^[8].
• 1969 — финансирование в Bell Labs было прекращено после критики главного инженера Джона Р. Пирса^[9].

Радж Редди был первым, кто начал исследования непрерывного распознавания речи (студент Стэнфорда, 1960-е гг.). Предыдущие системы требовали пауз между словами.

В этот же период советские учёные разработали алгоритм динамическое программирование времени и реализовали распознаватель с 200-словным словарём^[10].

• 1971 — проект DARPA (Speech Understanding Research), задача — минимум 1000 слов в словаре. Участвовали BBN, IBM, Carnegie Mellon, Stanford Research Institute^[11].
• 1976 — первая конференция ICASSP.

В 1970-х Леонард Баум и другие заложили основы скрытых марковских моделей (HMM), а с 1980-х HMM стали стандартом для распознавания речи^[12]. К середине 1980-х группа Фредерика Йелинека (IBM) реализовала САПР для текста (Tangora, 20 тысяч слов)^[13].

• 1982 — компания Dragon Systems (James и Janet Baker).
• 1984 — ноутбук Apricot Portable с поддержкой распознавания до 4096 слов^[14].
• 1987 — система от Kurzweil Applied Intelligence.
• 1990 — Dragon Dictate (первый массовый продукт для диктовки).

В начале 1990-х системы достигли уровня, позволяющего работать со словарём больше среднего человеческого запаса слов. В эти годы появились Sphinx-II (CMU), системы Apple и Microsoft, рыночные продукты Nuance, Siri и др.

В 2000-х DARPA курировало программы EARS (2002) и GALE (2005). В 2007 году Google запустила сервис GOOG-411. В это же время методы глубокого обучения радикально снизили ошибки распознавания речи^[15].

К началу 2010-х произошёл прорыв в создании «спикер-независимых» систем для непрерывной речи. В 2017 году Microsoft достигла точности, сопоставимой с ручной транскрипцией профессионалами^[16].

В основе большинства современных систем лежат акустическая модель и языковая модель, обычно реализуемые через скрытые марковские модели (HMM), искусственные нейронные сети и методы глубокого обучения.

Скрытые марковские модели (HMM) — статистические модели для представления цепей звуковых признаков речи, позволяющие учитывать вероятности переходов между состояниями (например, фонемами или словами). Модель обучается автоматически по большим массивам размеченных данных. На каждом шаге анализируются векторные спектральные признаки (цепстральные коэффициенты).

Для повышения точности используют: контекстную зависимость фонем, нормализацию цепстральных признаков, нормализацию длины речевого тракта, адаптацию (VTLN, MLLR), дельта- и дельта-дельта коэффициенты, дискриминативное обучение (MMI, MCE, MPE).

DTW — метод выравнивания последовательностей, использовавшийся для распознавания речи до появления HMM. Позволял сопоставлять «растянутые» или «сжатые» по времени шаблоны произнесения.

Нейросети используются для классификации фонем^[17], изолированных слов, а также для многозадачной эволюционной оптимизации распознавания^[18], аудиовизуального распознавания и адаптации к говорящему. С 2010-х преобладают глубокие нейросети, LSTM, трансформеры. Ключевой идеей глубокого обучения стало отказ от ручной генерации признаков — сетевые архитектуры автоматически извлекают сложные паттерны из аудиоданных

С 2014 года стремительно развиваются сквозные (end-to-end) архитектуры. Первая такая модель — CTC, позднее появились архитектуры на основе внимания (attention), позволяющие обучать систему сразу «с нуля», без разделения на отдельные фазы по обучению фонетики, акустики, языка^[19].

• Голосовой пользовательский интерфейс — управление устройствами голосом (в т.ч. автомобили, умные дома, авиация).
• Оценка произношения — автоматическая проверка правильности произношения в образовательных и речевотерапевтических системах.
• Радиология, медицина — создание и обработка диктовок для электронной медицинской документации.
• Военная техника — управление авионикой, радиосвязью, автопилотом через голос в самолётах, вертолётах и диспетчерских системах.
• Для людей с ограничениями — создание субтитров, навигация по интерфейсу для слабовидящих и маломобильных пользователей, поддержка альтернативного текстового ввода.
• Телефония — автоматические контакт-центры и IVR.
• Автоматическое субтитрование, эмоциональный анализ речи, робототехника, безопасность, транскрипция, виртуальный ассистент.

Точность работы систем распознавания речи оценивается метриками WER (word error rate), временем задержки, а также успешностью выполнения команд.

• Размер и сложность словаря;
• Спикер-зависимость/независимость системы;
• Тип речи — изолированные слова, дискретная (с паузами), сплошная непрерывная речь;
• Жанр: речь по подготовленному/спонтанному тексту;
• Зашумлённость, помехи, условия записи;
• Огрехи произношения, диалекты, акценты.

Формула WER:

${\displaystyle WER={(s+d+i)/n}}$

где ${\displaystyle s}$ — число замен, ${\displaystyle d}$ — удалений, ${\displaystyle i}$ — вставок, ${\displaystyle n}$ — число слов в эталоне.

Распознавание речи может использоваться для атак — например, команда «Алекса» с ТВ-ролика может активировать устройства в чужих помещениях. Также возможны атаки через ультразвук, имитирующий команды, и внедрение незаметных человеку искажений в аудиопоток^[20].

• CMU Sphinx (набор инструментов);
• HTK и сопутствующая документация;
• Kaldi;
• Common Voice^[21] и производные (Coqui STT);
• Gboard (на Android);
• Распознавание речи в Microsoft Windows^[22];
• Массово доступные коммерческие облачные API.