Распознавание речи

• 1952 — исследователи Bell Labs Стивен Балашек, Р. Биддалф и К. Х. Дэвис создали Audrey для распознавания цифр от одного диктора. Система анализировала форманты в спектре мощности каждой реплики.
• 1960 — Гуннар Фант предложил и опубликовал модель источника-фильтра для производства речи.
• 1962 — «Shoebox» компании IBM (на 16 слов) был представлен на Всемирной выставке.
• 1966 — предложена линейная предиктивная кодировка, метод сжатия речевых сигналов (Фумитада Итакура, Нагоя; Сюдзо Сайто, Ниппон Телеграф энд Телефон)^[8].
• 1969 — финансирование в Bell Labs было прекращено после критики главного инженера Джона Р. Пирса^[9].

Радж Редди был первым, кто начал исследования непрерывного распознавания речи (студент Стэнфорда, 1960-е гг.). Предыдущие системы требовали пауз между словами.

В этот же период советские учёные разработали алгоритм динамическое программирование времени и реализовали распознаватель с 200-словным словарём^[10].

• 1971 — проект DARPA (Speech Understanding Research), задача — минимум 1000 слов в словаре. Участвовали BBN, IBM, Carnegie Mellon, Stanford Research Institute^[11].
• 1976 — первая конференция ICASSP.

В 1970-х Леонард Баум и другие заложили основы скрытых марковских моделей (HMM), а с 1980-х HMM стали стандартом для распознавания речи^[12]. К середине 1980-х группа Фредерика Йелинека (IBM) реализовала САПР для текста (Tangora, 20 тысяч слов)^[13].

• 1982 — компания Dragon Systems (James и Janet Baker).
• 1984 — ноутбук Apricot Portable с поддержкой распознавания до 4096 слов^[14].
• 1987 — система от Kurzweil Applied Intelligence.
• 1990 — Dragon Dictate (первый массовый продукт для диктовки).

В начале 1990-х системы достигли уровня, позволяющего работать со словарём больше среднего человеческого запаса слов. В эти годы появились Sphinx-II (CMU), системы Apple и Microsoft, рыночные продукты Nuance, Siri и др.

В 2000-х DARPA курировало программы EARS (2002) и GALE (2005). В 2007 году Google запустила сервис GOOG-411. В это же время методы глубокого обучения радикально снизили ошибки распознавания речи.

К началу 2010-х произошёл прорыв в создании «спикер-независимых» систем для непрерывной речи. В 2017 году Microsoft достигла точности, сопоставимой с ручной транскрипцией профессионалами^[15].

В сентябре 2022 года компания OpenAI выпустила систему автоматического распознавания речи Whisper^[16]. Благодаря открытому исходному коду и мультиязычности (поддержке 99 языков) модель стала новым индустриальным стандартом, позволив запускать качественное распознавание локально^[17].

В 2025–2026 годах произошёл переход к потоковому распознаванию в реальном времени и интеграции систем распознавания с большими языковыми моделями (LLM). Доминирующей стала архитектура, объединяющая энкодер и LLM-декодер, что позволило перейти от простого акустического отображения к семантически осмысленной генерации текста. В этот период также начали активно применяться методы контекстуального анализа с учётом истории разговора и многозадачные модели, способные определять эмоции непосредственно в процессе распознавания^[18].

Скрытые марковские модели (HMM) — статистические модели для представления цепей звуковых признаков речи, позволяющие учитывать вероятности переходов между состояниями (например, фонемами или словами). Модель обучается автоматически по большим массивам размеченных данных. На каждом шаге анализируются векторные спектральные признаки (цепстральные коэффициенты).

Для повышения точности используют: контекстную зависимость фонем, нормализацию цепстральных признаков, нормализацию длины речевого тракта, адаптацию (VTLN, MLLR), дельта- и дельта-дельта коэффициенты, дискриминативное обучение (MMI, MCE, MPE).

DTW — метод выравнивания последовательностей, использовавшийся для распознавания речи до появления HMM. Позволял сопоставлять «растянутые» или «сжатые» по времени шаблоны произнесения.

Нейросети используются для классификации фонем^[21], изолированных слов, а также для многозадачной эволюционной оптимизации распознавания^[22], аудиовизуального распознавания и адаптации к говорящему. С 2010-х преобладают глубокие нейросети, LSTM, трансформеры. Ключевой идеей глубокого обучения стало отказ от ручной генерации признаков — сетевые архитектуры автоматически извлекают сложные паттерны из аудиоданных

С 2014 года стремительно развиваются сквозные (end-to-end) архитектуры. Первая такая модель — CTC, позднее появились архитектуры на основе внимания (attention), позволяющие обучать систему сразу «с нуля», без разделения на отдельные фазы по обучению фонетики, акустики, языка. Эволюция сквозных архитектур привела к созданию моделей для потоковой (streaming) обработки аудио в реальном времени. К ключевым решениям относятся RNN-Transducer (RNN-T), обеспечивающий инкрементальную обработку без ожидания будущего контекста, Streaming Transformers, использующие каузальное внимание для работы с низкой задержкой, и Conformer Transducer, объединяющий свёрточные слои с механизмом самовнимания для повышения точности^[23].^[24] Современные системы, такие как GPT-4o, реализуют сквозную обработку в реальном времени с помощью единой мультимодальной нейросети, напрямую анализирующей аудиосигнал. Подобные архитектуры обеспечивают минимальную задержку отклика (около 232 миллисекунд) и используют семантический VAD (Voice Activity Detection), который анализирует контекст и динамически адаптирует время ожидания конца фразы^[25].^[26]

В области больших речевых языковых моделей (Speech LLMs) применяются два основных архитектурных подхода для прямого преобразования речи. Дискретное моделирование последовательностей преобразует аудиосигнал в дискретные токены, позволяя модели обрабатывать речь в рамках стандартной токенизированной парадигмы (например, VALL-E, SpeechGPT, AudioPaLM). Непрерывное моделирование проецирует акустические признаки в непрерывные векторы эмбеддингов, которые напрямую подаются в LLM, что сохраняет акустические детали и повышает точность распознавания (например, Pengi, SALMONN)^[27]. Интеграция LLM в процесс декодирования речи включает ряд специализированных методов. Спекулятивное и самоспекулятивное декодирование применяется для снижения задержки авторегрессионного вывода и устранения предвзятости языковой модели. Поверхностное слияние (shallow fusion) и рескоринг используются для выбора наилучшей гипотезы из нескольких кандидатов, что особенно актуально для малоресурсных языков. Среди других подходов выделяются гибридное декодирование с итеративным слиянием, декодирование с условием на промпты и LLM-коррекция ошибок в первичных транскрипциях^[28].^[29] Для обработки длинных аудиопоследовательностей применяются архитектуры на базе State Space Models (SSM), такие как Mamba. За счёт линейной вычислительной сложности они эффективно улавливают глобальные временные зависимости, избегая проблем с экспоненциальным ростом потребления памяти, свойственных механизму самовнимания в классических трансформерах. В системах распознавания речи активно используются гибридные модели (например, ConMamba), которые объединяют слои SSM с конволюционными модулями или слоями внимания, комбинируя вычислительную эффективность с высокой точностью^[30].^[31]

В 2026 году стандартом для распознавания речи в шумных условиях стали мультимодальные архитектуры, объединяющие аудиоданные с видеопотоком (чтение по губам) с использованием механизмов кросс-модального внимания^[32].

• Размер и сложность словаря;
• Спикер-зависимость/независимость системы;
• Тип речи — изолированные слова, дискретная (с паузами), сплошная непрерывная речь;
• Жанр: речь по подготовленному/спонтанному тексту;
• Зашумлённость, помехи, условия записи;
• Огрехи произношения, диалекты, акценты.

Формула WER:

${\displaystyle WER={(s+d+i)/n}}$

где ${\displaystyle s}$ — число замен, ${\displaystyle d}$ — удалений, ${\displaystyle i}$ — вставок, ${\displaystyle n}$ — число слов в эталоне.

Для снижения WER и компенсации факторов сложности применяются современные методы. В частности, для борьбы с зашумлённостью используются нейронные подавители шума, а для работы с сильными акцентами и редкими диалектами — мультиязычные модели и специализированные LoRA-адаптеры^[38].

Для минимизации задержек в сквозных (E2E) системах распознавания речи без значительной потери точности применяются различные методы:

• FastEmit — метод регуляризации на уровне последовательности, который поощряет раннюю выдачу текстовых токенов вместо пустых. Применение этого подхода позволяет снизить задержку на 150–300 мс^[39].^[40].
• Self-alignment — метод, использующий собственное выравнивание текущей модели для поиска направления с меньшей задержкой путём мягкого смещения путей выравнивания влево. Он обеспечивает оптимальный компромисс между точностью и скоростью выдачи результата^[41]..

Распознавание речи может использоваться для атак — например, команда «Алекса» с ТВ-ролика может активировать устройства в чужих помещениях. Также возможны атаки через ультразвук, имитирующий команды, и внедрение незаметных человеку искажений в аудиопоток^[42]. Наибольшую опасность для систем голосового управления и верификации представляют технологии клонирования голоса в реальном времени (дипфейки). Злоумышленники способны генерировать синтетическую речь с минимальной задержкой, что позволяет использовать её для обхода систем биометрической аутентификации и в атаках с применением социальной инженерии (например, звонки от лица руководителей или родственников)^[43]. Для защиты от подобных угроз применяются современные методы обнаружения спуфинга (liveness detection), позволяющие отличить живой голос от записанного или синтезированного. К ним относятся детекция поп-шума (анализ низкочастотной энергии от выдыхаемого воздуха), анализ специфических спектральных артефактов, оставляемых системами генерации речи, а также оценка распределения мощности сигнала в слышимом диапазоне^[44][45].