Коэффициент Байеса

Математической основой метода служит обратная задача теории вероятностей, поставленная Томасом Байесом (1763) и развитая Пьером-Симоном Лапласом; при равных априорных вероятностях моделей сравнение гипотез по апостериорным вероятностям — как это делал Лаплас — эквивалентно вычислению коэффициента Байеса^[6]. Однако явный аппарат для проверки точного «закона» (точечной гипотезы) против размытой альтернативы появился лишь в XX веке.

2000-е — настоящее время

Распространение методов Монте-Карло с марковскими цепями, мостовой и вложенной выборки сделало вычисление коэффициентов рутинной процедурой. В психологии и социальных науках метод стал одним из символов движения «новой статистики»: байесовский t-тест Раудера с соавторами (2009) с априорным распределением Коши^[22] и пакеты JASP и Jamovi сделали коэффициент доступным широкому кругу прикладных исследователей.

Коэффициент Байеса представляет собой отношение предельных (маргинальных) правдоподобий двух гипотез (моделей), обычно нулевой и альтернативной^[23].

Апостериорная вероятность ${\displaystyle \Pr(M|D)}$ модели M, задаваемой наблюдаемыми данными D, определяется теоремой Байеса:

${\displaystyle \Pr(M|D)={\frac {\Pr(D|M)\Pr(M)}{\Pr(D)}}.}$

Ключевой член, зависящий от данных, ${\displaystyle \Pr(D|M)}$, является предельным правдоподобием модели M. Он представляет собой вероятность получения наблюдаемых данных при условии истинности модели M, усреднённую по всем возможным значениям параметров этой модели с учётом их априорного распределения. Корректное вычисление этого члена является основой байесовского сравнения моделей.

В задаче выбора модели, когда необходимо выбрать между двумя моделями M₁ и M₂, параметризованными векторами параметров ${\displaystyle \theta _{1}}$ и ${\displaystyle \theta _{2}}$, отношение их правдоподобий задаётся коэффициентом Байеса K:

${\displaystyle K={\frac {\Pr(D|M_{1})}{\Pr(D|M_{2})}}={\frac {\int \Pr(\theta _{1}|M_{1})\Pr(D|\theta _{1},M_{1})\,d\theta _{1}}{\int \Pr(\theta _{2}|M_{2})\Pr(D|\theta _{2},M_{2})\,d\theta _{2}}}={\frac {\Pr(M_{1}|D)}{\Pr(M_{2}|D)}}{\frac {\Pr(M_{2})}{\Pr(M_{1})}}.}$

Если две модели априори одинаково вероятны, то есть ${\displaystyle \Pr(M_{1})=\Pr(M_{2})}$, коэффициент Байеса в точности равен отношению их апостериорных вероятностей.

Если вместо интегрирования по априорному распределению в числителе и знаменателе используется значение функции правдоподобия в точке оценки максимального правдоподобия (ОМП) параметра, то тест превращается в классический тест отношения правдоподобия. В отличие от него, байесовский подход не зависит от конкретного набора параметров, так как вычисляется путём интегрирования по всему пространству параметров. Это автоматически и естественным образом включает штраф за избыточное усложнение модели^[24], что защищает от переобучения.

Способность коэффициента Байеса штрафовать сложные модели часто называют «автоматической реализацией бритвы Оккама». Это явление количественно описывается так называемым фактором Оккама (Ockham factor)^[25].

Простая модель с меньшим числом параметров делает более узкие и конкретные предсказания, концентрируя свою априорную вероятность в небольшой области пространства данных. Если реальные данные попадают в эту область, простая модель получает высокий выигрыш в предельном правдоподобии. Сложная модель с множеством параметров «размазывает» свою априорную вероятность по гораздо более широкому пространству. В результате плотность вероятности (и, следовательно, среднее значение правдоподобия) в любой конкретной точке оказывается ниже, если только дополнительные параметры не дают существенного, оправданного данными прироста в качестве подгонки.

Прямое аналитическое вычисление интегралов для предельного правдоподобия возможно лишь в редких случаях, например, при использовании сопряжённых априорных распределений. На практике применяются следующие подходы:

• Асимптотические приближения. Наиболее тесную связь с коэффициентом Байеса имеет Байесовский информационный критерий (BIC, или критерий Шварца). При выполнении регулярных условий и при стремлении объёма выборки ${\displaystyle n}$ к бесконечности, логарифм коэффициента Байеса аппроксимируется через разность значений BIC двух моделей^[21]:

${\displaystyle 2\ln K\approx {\text{BIC}}_{2}-{\text{BIC}}_{1},}$

где ${\displaystyle {\text{BIC}}=k\ln(n)-2\ln({\hat {L}})}$, ${\displaystyle k}$ — число свободных параметров, а ${\displaystyle {\hat {L}}}$ — максимальное значение функции правдоподобия. BIC штрафует за сложность строже, чем критерий Акаике (AIC), при объёме выборки n > 7.

• Численные методы (MCMC). Для сложных моделей используются методы Монте-Карло для марковских цепей. Прямое использование «гармонического среднего» (harmonic mean estimator) нестабильно и не рекомендуется. Вместо этого применяются более надёжные методы: мостовая выборка (bridge sampling), термодинамическое интегрирование (path sampling / thermodynamic integration) или вложенная выборка (nested sampling)^[26].

• Приближённые байесовские вычисления (ABC). Используются, если функция правдоподобия неизвестна или её вычисление слишком затратно, хотя такая оценка коэффициентов Байеса часто является смещённой^[27][28].

Главным аргументом критиков коэффициента Байеса является его чувствительность к выбору априорного распределения. Если сделать априорное распределение параметров слишком «широким» (диффузным) с целью выразить «незнание», маргинальное правдоподобие стремится к нулю. В результате коэффициент Байеса будет несправедливо и сильно штрафовать эту модель, даже если она верно описывает данные. Это явление известно как парадокс Линдли — Бартлетта.

Для решения этой проблемы были разработаны специальные методы:

• Внутренние коэффициенты Байеса (Intrinsic Bayes factors), предложенные Дж. Бергером и Л. Периччи, которые используют минимальную часть данных для формирования «обученного» априорного распределения, а оставшиеся данные — для вычисления фактора^[29].

• Дробные коэффициенты Байеса (Fractional Bayes factors), предложенные Э. О’Хэйганом, где в качестве априорного распределения используется часть функции правдоподобия, возведённая в дробную степень^[30].

Парадокс Линдли демонстрирует фундаментальное расхождение между байесовским и частотным подходами при больших объёмах данных^[31]. При очень большом ${\displaystyle n}$ частотный тест почти всегда отвергает точную нулевую гипотезу (например, ${\displaystyle \mu =0}$), поскольку даже ничтожно малое отклонение становится «статистически значимым» (p-значение стремится к нулю). В то же время коэффициент Байеса может показывать «убедительную» поддержку нулевой гипотезы. Это происходит потому, что байесовский подход оценивает не вероятность получения экстремальных данных, а среднее правдоподобие по априорному распределению, которое может быть плотно сосредоточено около нуля, делая нулевую гипотезу более правдоподобной, чем любая конкретная альтернатива с широким априорным распределением.

Значение K > 1 означает, что данные сильнее поддерживают гипотезу M₁, чем M₂. Классическая проверка гипотез рассматривает только свидетельства против нулевой гипотезы, тогда как коэффициент Байеса симметрично оценивает поддержку обеих моделей.

Гарольд Джеффрис предложил следующую шкалу для интерпретации значения K^[32]:

Второй столбец даёт веса поддержки в децибанах, третий — эквивалент в битах. Согласно И. Дж. Гуду, люди в повседневной жизни с трудом могут адекватно оценить разницу в степени доверия к гипотезе, соответствующую изменению веса на 1 децибан^[33].

Альтернативную шкалу предложили Касс и Рафтери (1995)^[21]:

Шкала интерпретации байесовского коэффициента (фактора Байеса)

${\displaystyle \log _{10}K}$	${\displaystyle K}$	Весомость доказательств
от 0 до 0,5	от 1 до 3,2	Заслуживает лишь упоминания
от 0,5 до 1	от 3,2 до 10	Положительная (существенная)
от 1 до 2	от 10 до 100	Сильная
> 2	> 100	Очень сильная (решающая)

Байесовские процедуры, включая коэффициенты Байеса, являются согласованными (когерентными), что позволяет рассматривать статистический вывод как частный случай принятия решений в условиях неопределённости с использованием функции потерь (например, логарифмической функции оценки, что приводит к расстоянию Кульбака — Лейблера).

Сама по себе теорема Байеса представляет собой строгое математическое тождество теории вероятностей и не зависит от конкретной интерпретации понятия вероятности. Однако систематическое использование этой теоремы для обновления степени уверенности в истинности гипотез по мере поступления новых данных сформировало самостоятельное методологическое направление. Подробности о философских и методологических основах этого подхода, включая различные интерпретации вероятности (частотную и байесовскую), а также о практических применениях теоремы для оценки параметров, сравнения моделей и проверки гипотез, изложены в статье Байесовский вывод.

• Психология и социальные науки. В рамках движения «Новая статистика» (New Statistics) коэффициенты Байеса активно продвигаются как замена p-значениям. Программные пакеты с графическим интерфейсом, такие как JASP и JAMOVI, позволяют исследователям вычислять коэффициенты Байеса для t-тестов, дисперсионного анализа и регрессии «в один клик»^[35].

• A/B-тестирование в IT. Технологические компании используют байесовские факторы для мониторинга экспериментов. Это позволяет осуществлять раннюю остановку теста при накоплении убедительных доказательств в пользу одной из версий без проблемы инфляции ошибки первого рода, присущей частотному последовательному анализу.

• Машинное обучение. Коэффициент Байеса (в форме маргинального правдоподобия, или «evidence») используется для выбора архитектуры нейронных сетей, сравнения ядер в гауссовских процессах и выбора гиперпараметров^[36].

• Биоинформатика. Метод применяется для ранжирования динамической экспрессии генов в качестве более надёжной альтернативы использованию q-значений (FDR)^[37].