Модель зашумленного канала

Пусть имеется алфавит ${\displaystyle \Sigma }$, ${\displaystyle \Sigma ^{*}}$ — множество всех конечных строк над ${\displaystyle \Sigma }$. Словарь допустимых слов ${\displaystyle D}$ является некоторым подмножеством ${\displaystyle \Sigma ^{*}}$, то есть, ${\displaystyle D\subseteq \Sigma ^{*}}$^[1].

Зашумлённый канал задаётся матрицей

${\displaystyle \Gamma _{ws}=\Pr(s|w)}$,

где ${\displaystyle w\in D}$ — исходное (намеренное) слово, а ${\displaystyle s\in \Sigma ^{*}}$ — «искажённое» слово, которое было получено на выходе канала.

Задача модели зашумлённого канала — определить исходное слово по полученному искажённому слову. Функция решения ${\displaystyle \sigma :\Sigma ^{*}\to D}$ — это функция, которая по искажённому слову возвращает исходное слово.

Методы построения функции решения включают правило максимального правдоподобия, максимальное апостериорное правило и метод минимального расстояния.

В некоторых случаях целесообразнее принять искажённое слово за исходное, чем искать эквивалент в словаре. Например, слово schönfinkeling может отсутствовать в словаре, но быть на самом деле намеренным словом.

Рассмотрим английский алфавит ${\displaystyle \Sigma =\{a,b,c,...,y,z,A,B,...,Z,...\}}$. Подмножество ${\displaystyle D\subseteq \Sigma ^{*}}$ составляет словарь допустимых английских слов.

При наборе текста возможны следующие типовые ошибки:

1. Пропущенные буквы, например, ' вместо letter
2. Лишние буквы, например, ' вместо mistake
3. Перестановка букв, например, ' вместо received
4. Замена букв, например, ' вместо finite

Для построения матрицы зашумлённого канала ${\displaystyle \Gamma }$ необходимо учитывать вероятность каждой ошибки для каждого исходного слова (${\displaystyle \Pr(s|w)}$ для всех ${\displaystyle w\in D}$ и ${\displaystyle s\in \Sigma ^{*}}$). Эти вероятности можно оценить, например, с помощью расстояния Дамерау-Левенштейна между ${\displaystyle s}$ и ${\displaystyle w}$ или сравнивая черновик текста с его отредактированной версией.

Предположим^[2], требуется перевести иностранный текст на английский язык. Можно напрямую моделировать ${\displaystyle P(E|F)}$: вероятность того, что английское предложение E соответствует иностранному предложению F, после чего выбирается наиболее вероятное ${\displaystyle {\hat {E}}=\arg \max _{E}P(E|F)}$. Однако по формуле Байеса получаем эквивалентное выражение:

$${\displaystyle {\hat {E}}={\underset {E\in {\text{English}}}{\operatorname {argmax} }}\ \overbrace {P(F\mid E)} ^{\text{модель перевода}}\ \overbrace {P(E)} ^{\text{языковая модель}}}$$

Недостаток модели зашумлённого канала — вычислительная сложность байесовского вывода: вместо непосредственного нахождения наиболее вероятного перевода методом ${\displaystyle \arg \max _{E}P(E|F)}$ приходится учитывать значения обеих моделей (языковой и перевода), вычислять их произведение и искать максимальное значение.

Распознавание речи можно рассматривать как перевод из «языка звуков» в «язык текста». Соответствующее выражение:

$${\displaystyle {\hat {T}}={\underset {T\in {\text{Text}}}{\operatorname {argmax} }}\ \overbrace {P(S\mid T)} ^{\text{акустическая модель}}\ \overbrace {P(T)} ^{\text{языковая модель}}}$$

${\displaystyle P(S|T)}$

Полезность модели зашумлённого канала состоит не в её универсальности (любой такой модели можно противопоставить прямую модель ${\displaystyle P(T|S)}$), а в структурной раздельности: модель разбивается на адекватные ситуации компоненты, что придаёт ей практические преимущества.

В процессе речи человек формирует сначала текстовую мысль, затем с помощью двигательных систем, голосовых связок и других органов преобразует её в звуковую цепочку. Модель зашумлённого канала соответствует этой схеме когнитивного процесса и на практике хорошо себя зарекомендовала в задачах распознавания речи.

Пусть имеется цепочка на «языке звуков» (записанная в МФА для английского) S = aɪ wʊd laɪk wʌn tuː. Возможны три интерпретации текста ${\displaystyle T_{1},T_{2},T_{3}}$:

• ${\displaystyle T_{1}=}$ I would like one to.
• ${\displaystyle T_{2}=}$ I would like one too.
• ${\displaystyle T_{3}=}$ I would like one two.

Все три интерпретации одинаково вероятны с точки зрения акустической модели: ${\displaystyle P(S|T_{1})=P(S|T_{2})=P(S|T_{3})}$. Однако языковая модель для английского определяет ${\displaystyle P(T_{2})>P(T_{1})>P(T_{3})}$, поскольку второе предложение грамматично, первое — близко к грамматически правильному («I would like one to [go].»), а третье далеко от нормативного оборота.

В результате модель зашумлённого канала выберет ${\displaystyle T_{2}}$ как наилучшую транскрипцию.