Байесовское программирование

Байесовская программа служит способом задания семейства вероятностных распределений.

Её основные компоненты перечислены ниже:

${\displaystyle {\text{Program}}{\begin{cases}{\text{Description}}{\begin{cases}{\text{Specification}}(\pi ){\begin{cases}{\text{Variables}}\\{\text{Decomposition}}\\{\text{Forms}}\\\end{cases}}\\{\text{Identification (based on }}\delta )\end{cases}}\\{\text{Question}}\end{cases}}}$

1. Программа состоит из описания и вопроса.
2. Описание задаётся на основе спецификации (${\displaystyle \pi }$), определяемой программистом, и идентификации — алгоритма обучения по параметрам, не заданным спецификацией, с набором данных (${\displaystyle \delta }$).
3. Спецификация состоит из определённого набора переменных, декомпозиции и набора форм.
4. Формы — либо параметрические, либо вопросы к другим байесовским программам.
5. Вопрос определяет вероятностное распределение, которое следует вычислить.

Описание определяет способ эффективного вычисления совместного вероятностного распределения набора переменных ${\displaystyle \{X_{1},X_{2},\cdots ,X_{N}\}}$ для заданного набора экспериментальных данных ${\displaystyle \delta }$ и спецификации ${\displaystyle \pi }$. Это совместное распределение обозначается ${\displaystyle P(X_{1}\wedge X_{2}\wedge \cdots \wedge X_{N}|\delta \wedge \pi )}$.

Чтобы зафиксировать априорные знания ${\displaystyle \pi }$, необходимо:

1. Задать значимые переменные ${\displaystyle \{X_{1},X_{2},\cdots ,X_{N}\}}$, над которыми строится совместное распределение.
2. Разложить совместное распределение на независимые или условные вероятности.
3. Указать тип (форму) каждого маргинального или условного распределения, например выбрав его из известных классов.

Пусть множество ${\displaystyle \{X_{1},X_{2},\ldots ,X_{N}\}}$ разбито на ${\displaystyle K}$ подмножеств, переменные которых ${\displaystyle L_{1},\cdots ,L_{K}}$ являются конъюнкциями переменных своих подмножеств. Рекурсивное применение теоремы Байеса:

${\displaystyle {\begin{aligned}&P(X_{1}\wedge X_{2}\wedge \cdots \wedge X_{N}|\delta \wedge \pi )\\=&P(L_{1}\wedge \cdots \wedge L_{K}|\delta \wedge \pi )\\=&P(L_{1}|\delta \wedge \pi )\times P(L_{2}|L_{1}\wedge \delta \wedge \pi )\times \cdots \\&\times P(L_{K}|L_{K-1}\wedge \cdots \wedge L_{1}\wedge \delta \wedge \pi )\end{aligned}}}$

Используя гипотезу условной независимости, можно ещё упростить выражение, определяя конъюнкцию ${\displaystyle R_{k}}$ и полагая:

${\displaystyle P(L_{k}|L_{k-1}\wedge \cdots \wedge L_{1}\wedge \delta \wedge \pi )=P(L_{k}|R_{k}\wedge \delta \wedge \pi )}$

что даёт

${\displaystyle {\begin{aligned}&P(X_{1}\wedge X_{2}\wedge \cdots \wedge X_{N}|\delta \wedge \pi )\\=&P(L_{1}|\delta \wedge \pi )\times P(L_{2}|R_{2}\wedge \delta \wedge \pi )\times \cdots \\&\times P(L_{K}|R_{K}\wedge \delta \wedge \pi )\end{aligned}}}$

Такое разложение совместного распределения на произведение более простых называется декомпозицией, выведенной по цепному правилу.

Это гарантирует, что каждая переменная появляется в левой части условного выражения хотя бы один раз, что необходимо для математической корректности выводов.

Каждое распределение ${\displaystyle P(L_{k}|R_{k}\wedge \delta \wedge \pi )}$ далее связывается либо с параметрической формой ${\displaystyle f_{\mu }(L_{k})}$ (где ${\displaystyle \mu }$ — вектор параметров, возможно вычисляемых по ${\displaystyle R_{k}}$ и/или ${\displaystyle \delta }$), либо представляет собой вопрос к другой байесовской программе: ${\displaystyle P(L_{k}|R_{k}\wedge \delta \wedge \pi )=P(L|R\wedge {\hat {\delta }}\wedge {\hat {\pi }})}$.

Параметры могут подбираться на основе данных ${\displaystyle \delta }$ (процесс обучения).

Важно, что байесовская программа может включать вопросы к другим байесовским программам, что позволяет строить иерархические модели по принципу подпрограмм.

Вопрос формализует задачу вычисления вероятностей для переменных, разделённых на три множества: исследуемые, известные и свободные.

Вопрос состоит в вычислении распределения:

${\displaystyle P({\text{Searched}}|{\text{Known}}\wedge \delta \wedge \pi )}$

где под конкретизацией подразумевается подстановка конъюнкций известных переменных.

Для совместного распределения ${\displaystyle P(X_{1}\wedge \cdots \wedge X_{N}|\delta \wedge \pi )}$ любой вопрос вычисляется так:

${\displaystyle {\begin{aligned}&P({\text{Searched}}|{\text{Known}}\wedge \delta \wedge \pi )\\=&\sum _{\text{Free}}P({\text{Searched}}\wedge {\text{Free}}|{\text{Known}}\wedge \delta \wedge \pi )\\=&{\frac {\sum _{\text{Free}}P({\text{Searched}}\wedge {\text{Free}}\wedge {\text{Known}}|\delta \wedge \pi )}{P({\text{Known}}|\delta \wedge \pi )}}\\=&{\frac {1}{Z}}\sum _{\text{Free}}P({\text{Searched}}\wedge {\text{Free}}\wedge {\text{Known}}|\delta \wedge \pi )\end{aligned}}}$

где ${\displaystyle Z}$ — нормировочный множитель.

Для вычисления используются декомпозиции:

${\displaystyle P({\text{Searched}}|{\text{Known}}\wedge \delta \wedge \pi )={\frac {1}{Z}}\sum _{\text{Free}}\left[\prod _{k=1}^{K}P(L_{i}|K_{i}\wedge \pi )\right]}$

что обычно существенно сокращает вычисления.

В задаче фильтрации спама письма делятся на две категории: спам и не-спам. Классификация проводится по анализу набора слов (модель мешка слов). Классический байесовский фильтр обучается по действиям пользователя, подстраиваясь под индивидуальные критерии.

• ${\displaystyle Spam}$ — двоичная переменная (ложь — не спам, истина — спам).
• ${\displaystyle W_{0},W_{1},\ldots ,W_{N-1}}$ — двоичные индикаторы наличия слов из словаря.

Совместное распределение:

${\displaystyle P({\text{Spam}}\wedge W_{0}\wedge \cdots \wedge W_{N-1})=P({\text{Spam}})\prod _{n=0}^{N-1}P(W_{n}|{\text{Spam}})}$

считая появление слов условно независимым.

• ${\displaystyle P({\text{Spam}})}$ даётся априорно, например, ${\displaystyle P([{\text{Spam}}=1])=0.75}$
• ${\displaystyle P(W_{n}|{\text{Spam}})}$ рассчитывается по правилу Лапласа:

 - ${\displaystyle P(W_{n}|[{\text{Spam}}=false])={\frac {1+a_{f}^{n}}{2+a_{f}}}}$
 - ${\displaystyle P(W_{n}|[{\text{Spam}}=true])={\frac {1+a_{t}^{n}}{2+a_{t}}}}$

где ${\displaystyle a_{f}^{n}}$ и ${\displaystyle a_{t}^{n}}$ — число появлений, ${\displaystyle a_{f}}$ и ${\displaystyle a_{t}}$ — общее число писем соответствующих классов.

Параметры ${\displaystyle a_{f}^{n},a_{t}^{n},a_{f},a_{t}}$ определяются либо пакетно по размеченным письмам, либо инкрементально с поступлением новой классификации.

Вероятность спама для письма с заданными индикаторами:

${\displaystyle P({\text{Spam}}|w_{0}\wedge \ldots \wedge w_{N-1})={\frac {P({\text{Spam}})\prod _{n=0}^{N-1}P(w_{n}|{\text{Spam}})}{\sum _{\text{Spam}}P({\text{Spam}})\prod _{n=0}^{N-1}P(w_{n}|{\text{Spam}})}}}$

Соотношение правдоподобия даёт критерий для классификации.

Сводная запись для байесовской программы фильтра спама:

${\displaystyle \Pr {\begin{cases}Ds{\begin{cases}Sp(\pi ){\begin{cases}Va:{\text{Spam}},W_{0},\ldots ,W_{N-1}\\Dc:P({\text{Spam}})\prod _{n=0}^{N-1}P(W_{n}|{\text{Spam}})\\Fo:P([{\text{Spam}}=x]),\,P(W_{n}|[{\text{Spam}}=x])\end{cases}}\\Id\end{cases}}\\Qu:P({\text{Spam}}|w_{0}\wedge \ldots \wedge w_{N-1})\end{cases}}}$

Байесовские фильтры (или рекурсивные байесовские оценки) описывают вероятностные модели временных процессов. К их частным случаям относятся фильтр Кальмана и скрытые марковские модели.

• ${\displaystyle S^{0},\ldots ,S^{T}}$ — состояния во времени.
• ${\displaystyle O^{0},\ldots ,O^{T}}$ — наблюдения на этих моментах времени.

• ${\displaystyle P(S^{t}|S^{t-1})}$ — модель перехода (динамики).
• ${\displaystyle P(O^{t}|S^{t})}$ — модель наблюдения.
• ${\displaystyle P(S^{0}\wedge O^{0})}$ — начальное состояние.

Выбор конкретных форм определяет построенную модель (Кальмана, СММ и др.).

Часто требуется вычислить ${\displaystyle P(S^{t+k}|O^{0}\wedge \cdots \wedge O^{t})}$. Для ${\displaystyle k=0}$ — задача фильтрации (оценка текущего состояния по данным наблюдениям).

Рекурсивная формула:

${\displaystyle P(S^{t}|O^{0}\wedge \cdots \wedge O^{t})=P(O^{t}|S^{t})\sum _{S^{t-1}}P(S^{t}|S^{t-1})P(S^{t-1}|O^{0}\wedge \cdots \wedge O^{t-1})}$

Можно выделить фазу предсказания и фазу обновления по наблюдению.

${\displaystyle \Pr {\begin{cases}Ds{\begin{cases}Sp(\pi ){\begin{cases}Va:S^{0},...,S^{T},O^{0},...,O^{T}\\Dc:P(S^{0}\wedge O^{0})\prod _{t=1}^{T}[P(S^{t}|S^{t-1})P(O^{t}|S^{t})]\\Fo:P(S^{0}\wedge O^{0}),\,P(S^{t}|S^{t-1}),\,P(O^{t}|S^{t})\end{cases}}\\Id\end{cases}}\\Qu:\left\{{\begin{array}{l}P(S^{t+k}|O^{0}\wedge \cdots \wedge O^{t})\\(k=0)~{\text{фильтрация}}\\(k>0)~{\text{предсказание}}\\(k<0)~{\text{сглаживание}}\end{array}}\right.\end{cases}}}$

Фильтры Кальмана — частный случай байесовских фильтров для непрерывных переменных и гауссовских шумов^[3].

Модели перехода и наблюдения определяются нормальным распределением с линейной зависимостью среднего:

${\displaystyle P(S^{t}|S^{t-1},{\pi })\sim G(S^{t},AS^{t-1},Q),\qquad P(O^{t}|S^{t},{\pi })\sim G(O^{t},HS^{t},R)}$

Задачу вывода можно решить аналитически, что объясняет широкое применение фильтра Кальмана и его расширенных вариантов (например, расширенный фильтр Кальмана при нелинейных моделях).

Скрытая марковская модель (СММ) — дискретный аналог фильтров Кальмана, где все вероятности представлены матрицами переходов и матрицами наблюдений.

Распространённый вопрос: нахождение наиболее вероятной последовательности состояний, решается алгоритмом Витерби. Для обучения параметров применяется алгоритм Баум-Велша.

За последние десятилетия байесовское программирование применяли для задач робототехники, управления, научного моделирования в биологических науках^[4].

Байесовское программирование применяется для автономной навигации^[5][6], проектирования роботизированных систем, помощи водителю, управления манипуляторами, мобильных роботов^[7], взаимодействия человек-робот, моделирования поведения водителя^[8], обучения цифровых аватаров^[9] и др.

В биологии и нейронауках байесовское программирование применяют для анализа зрительного потока, моделирования зрительно-вестибулярного взаимодействия^[10], раннего усвоения речи^[11], моторного управления и рукописного текста^[12].

Байесовское программирование находит приложения в задачах распознавания и синтеза речи, обработки изображений и естественного языка, где используются принципы композируемости, причинности и обучения обучению^[13].

Сравнение вероятностных методов (в том числе байесовского программирования) с теориями возможностей (нечётких множеств и логик) является предметом дискуссий. Теории возможностей (см., например, нечёткие множества и нечёткие логики^[14]) предлагают альтернативы вероятностному описанию неопределённости. В защиту вероятностного подхода приводится теорема Кокса, согласно которой только вероятностная мера удовлетворяет определённым аксиомам рационального вывода.

Задача вероятностного программирования — совмещение классических языков (логических, функциональных, объектно-ориентированных) с вероятностным моделированием и байесовскими сетями для работы с неопределённостью^[15]. Для этого расширяются логические, функциональные и объектные языки (например, ProbLog, BLOG, FIGARO и др.).

Цель байесовского программирования — не расширить языки, а перестроить само программирование на основе вероятностной логики, следуя идеям Джейнса о вероятности как продолжении логики^[1]. Сравнение семантики и выразительной мощности байесовского и вероятностного программирования остаётся открытым вопросом.

В современных исследованиях вариационного байесовского вывода ключевым направлением стал переход от анализа пространства весов к работе в пространстве функций. Такой подход считается более естественным для оценки неопределенности, так как конечной целью является получение распределений по функциям. Однако внедрение этого метода сопряжено с рядом теоретических и практических сложностей, требующих решения.

Параллельно ведётся работа над повышением качества схем приближённого вывода. Несмотря на то, что основной приоритет отдается аппроксимации прогностического апостериорного распределения, данные методы также позволяют эффективно оценивать маргинальное правдоподобие, что важно для выбора и сравнения моделей.

Актуальным вектором развития байесовского глубокого обучения (Bayesian Deep Learning, BDL) является адаптация классических концепций к архитектурам больших языковых моделей (LLMs). В этом быстрорастущем сегменте особое внимание уделяется разработке методов обнаружения и минимизации галлюцинаций. Применение байесовского подхода в данном контексте позволяет более надежно верифицировать ответы моделей и снижать риски генерации недостоверной информации^[16].