FMLLR

Преобразования FMLLR обучаются по принципу максимального правдоподобия на данных для адаптации. Существуют различные способы оценки преобразований, однако в FMLLR рассматривается только метод максимального правдоподобия (МП-оценивание). Преобразование FMLLR обучается на выбранном наборе данных для адаптации так, чтобы максимизировать вероятность этих данных при текущем наборе моделей.

Данная техника широко применяется для адаптации к говорящему в системах на основе скрытых марковских моделей (СММ) для распознавания речи^[1][2]. Позднейшие исследования^[3] показывают, что FMLLR предоставляет эффективные акустические признаки и для гибридных моделей распознавания речи на основе глубоких нейронных сетей и СММ (DNN/HMM)^[4].

К преимуществам метода FMLLR относятся:

• Процесс адаптации может выполняться на этапе предварительной обработки и не зависит от обучения и декодирования системы автоматического распознавания речи — АСР.
• Данный вид адаптированных признаков может применяться в глубоких нейронных сетях (ГНС) как замена традиционно используемому мел-спектрограмме в сквозных моделях распознавания речи.
• Адаптация по говорящему с помощью FMLLR обычно приводит к существенному приросту производительности моделей АСР, часто превосходя другие методы преобразований или признаков, такие как MFCC (мел-частотные кепстральные коэффициенты) и FBANK (коэффициенты фильтровых банков).
• Признаки FMLLR реализуются эффективно с помощью речевых инструментов, например Kaldi.

Основная проблема и недостаток FMLLR:

• При недостаточном объёме данных для адаптации матрицы преобразования склонны к переобучению на имеющихся данных.

Преобразование признаков FMLLR можно легко вычислить с помощью открытого речевого инструментария Kaldi. Скрипт Kaldi реализует стандартную схему оценки, описанную в приложении B оригинальной статьи^[1], в частности, в разделе B.1 «Прямой метод по строкам».

В формулировке Kaldi FMLLR — это аффинное преобразование признаков вида ${\displaystyle x\to Ax+b}$, которое можно записать как ${\displaystyle x\to W{\hat {x}}}$, где ${\displaystyle {\hat {x}}={\begin{bmatrix}x\\1\end{bmatrix}}}$ — это акустический признак ${\displaystyle x}$ с добавленной 1. Отметим, что в некоторых работах встречается иной порядок: ${\displaystyle {\hat {x}}={\begin{bmatrix}1\\x\end{bmatrix}}}$.

Достаточной статистикой при этом является:

${\displaystyle K=\sum _{t,j,m}\gamma _{j,m}(t)\Sigma _{jm}^{-1}\mu _{jm}x(t)^{+}}$

где ${\displaystyle \Sigma _{jm}^{-1}}$ — обратная ковариационная матрица.

А для ${\displaystyle 0\leq i\leq D}$, где ${\displaystyle D}$ — размерность признакового пространства:

${\displaystyle G^{(i)}=\sum _{t,j,m}\gamma _{j,m}(t)\left({\frac {1}{\sigma _{j,m}^{2}(i)}}\right)x(t)^{+}x(t)^{+T}}$

Для подробного обзора и описания методов оценки FMLLR см. оригинальную статью “Maximum likelihood linear transformations for HMM-based speech recognition”^[1].

Следует отметить, что скрипт Kaldi, осуществляющий преобразование признаков по FMLLR, отличается от методики^[1] использованием столбца матрицы, обратной к кофакторной строке. Иными словами, множитель детерминанта игнорируется, поскольку он не влияет на результат преобразования и может привести к численным переполнениям или «исчезновению точности».

Экспериментальные результаты показывают, что использование признаков FMLLR в распознавании речи обеспечивает устойчивое превосходство над другими акустическими признаками на различных общепринятых тестовых наборах (TIMIT, LibriSpeech и др).

В частности, признаки FMLLR превосходят MFCC и FBANK за счёт процедур адаптации к говорящему^[3].

В работе^[3] приведены значения процента ошибок по фонемам (PER, %) для тестового набора TIMIT на различных нейронных архитектурах:

Как видно, признаки FMLLR превосходят MFCC и FBANK независимо от архитектуры модели.

Здесь MLP (многослойный перцептрон) выступает в роли базовой модели, а RNN, LSTM и GRU — наиболее распространённые рекуррентные архитектуры.

Li-GRU^[5] использует одну управляющую функцию и, по сравнению с обычной GRU, позволяет сократить объём вычислений на 33 %, а также эффективно решает проблему «затухающего градиента» в рекуррентных моделях.

Лучшие показатели достигаются на признаках FMLLR с моделью Li-GRU.