Теорема Байеса

Теорема названа в честь английского пресвитерианского священника и математика Томаса Байеса (1702—1761). Байес учился в Эдинбургском университете, поскольку как нонконформист не мог поступить в Оксфорд или Кембридж, а с 1730-х годов служил в Танбридж-Уэллсе^[4].

При жизни Байес не опубликовал ни одной работы по теории вероятностей. После его смерти рукопись «An Essay towards solving a Problem in the Doctrine of Chances» нашёл среди бумаг покойного друг Байеса Ричард Прайс, который отредактировал текст, снабдил его предисловием и приложением и представил Королевскому обществу. Работа была прочитана 23 декабря 1763 года и напечатана в томе 53 «Философских трудов», датированном 1763 годом и вышедшем из печати в 1764 году^[5][4].

Важно понимать, чего в работе Байеса нет. Он не выписывал формулу в современном виде и не рассматривал произвольное число гипотез: Байес решал одну частную задачу — как по числу успехов и неудач в серии испытаний оценить вероятность успеха, то есть находил апостериорное распределение параметра биномиального распределения при равномерном априорном^[6]. Значительная часть очерка посвящена обоснованию того, почему равномерное априорное распределение вообще допустимо.

Независимо от Байеса и, по-видимому, не зная о его работе, общее правило сформулировал Пьер-Симон Лаплас в мемуаре «Mémoire sur la probabilité des causes par les événements» 1774 года^[7]. Лаплас записал принцип для произвольного числа причин:

Это в точности формула Байеса в развёрнутой форме. В дальнейшем Лаплас развивал теорию почти сорок лет, подытожив результаты в «Théorie analytique des probabilités» (1812) и в популярном «Essai philosophique sur les probabilités» (1814)^[6]. Именно Лапласу принадлежат общая постановка, принцип недостаточного основания для выбора априорных распределений и первые содержательные приложения, поэтому историки статистики отмечают, что современная теория восходит скорее к Лапласу, тогда как имя закрепилось за Байесом как за автором более ранней публикации^[8].

На протяжении столетия после Лапласа подход называли не байесовским, а методом обратной вероятности; им пользовались Гаусс, Эджуорт и ранний Пирсон^[8]. Выводы Байеса принял Лаплас в мемуаре 1781 года; независимо к ним пришёл Кондорсе. Первым серьёзным критиком стал Джордж Буль в «Законах мышления» (1854), после чего метод надолго стал предметом споров^[4].

В 1920—1950-х годах Роналд Фишер резко выступал против использования априорных вероятностей и в полемике называл этот подход «байесовским» — ярлык закрепился именно тогда^[8]. Одновременно шло возрождение метода: Гарольд Джеффрис подвёл под правило Байеса аксиоматическую основу, а позднее Леонард Сэвидж, Бруно де Финетти и Деннис Линдли развили субъективную интерпретацию вероятности. Джеффрису принадлежит известное сравнение: теорема Байеса «для теории вероятностей то же, что теорема Пифагора для геометрии»^[9].

Во время Второй мировой войны байесовские рассуждения применялись при дешифровке «Энигмы» в Блетчли-парке: Алан Тьюринг использовал накопление логарифмов отношения правдоподобия для отбора гипотез о настройках машины, введя для их измерения единицу «бан». Эти работы оставались засекреченными десятилетиями^[10].

Широкое практическое применение байесовских методов началось лишь в конце XX века, когда развитие вычислительной техники и появление алгоритмов Монте-Карло по схеме марковских цепей, в частности алгоритма Метрополиса — Гастингса, сделали возможным расчёт апостериорных распределений в сложных моделях^[11].

Пусть события ${\displaystyle A_{1},A_{2},\ldots ,A_{N}}$ образуют полную группу гипотез, то есть попарно несовместны (${\displaystyle A_{i}\cap A_{k}=\varnothing }$ при ${\displaystyle i\neq k}$), имеют положительные вероятности ${\displaystyle P(A_{i})>0}$ и в объединении дают всё пространство элементарных событий:

${\displaystyle \bigcup _{i=1}^{N}A_{i}=\Omega ,\qquad \sum _{i=1}^{N}P(A_{i})=1.}$

Здесь ${\displaystyle N}$ — число гипотез (конечное либо счётное; в последнем случае суммирование ведётся по всем ${\displaystyle i=1,2,\ldots }$). Тогда безусловная вероятность события ${\displaystyle B}$ находится по формуле полной вероятности^[14]:

${\displaystyle P(B)=\sum _{i=1}^{N}P(B\mid A_{i})\,P(A_{i}),}$

где все вероятности в правой части либо известны из условия задачи, либо допускают экспериментальную оценку.

Подставляя это выражение в формулу Байеса, получаем её развёрнутый вид для гипотезы с номером ${\displaystyle j}$, где ${\displaystyle 1\leqslant j\leqslant N}$:

${\displaystyle P(A_{j}\mid B)={\frac {P(B\mid A_{j})\,P(A_{j})}{\sum \limits _{i=1}^{N}P(B\mid A_{i})\,P(A_{i})}}.}$

Индекс суммирования ${\displaystyle i}$ пробегает номера всех гипотез полной группы, а индекс ${\displaystyle j}$ фиксирован и указывает ту гипотезу, вероятность которой требуется найти.

Для случайных величин ${\displaystyle X}$ и ${\displaystyle Y}$ формула Байеса напрямую к событиям вида ${\displaystyle \{X=x\}}$ неприменима: если величина непрерывна, то ${\displaystyle P(X=x)=0}$ при любом ${\displaystyle x}$, и выражение принимает неопределённый вид ${\displaystyle 0/0}$. Поэтому теорему переформулируют в терминах плотностей распределения.

Если ${\displaystyle X}$ непрерывна, а ${\displaystyle Y}$ дискретна, то:

${\displaystyle f_{X}(x\mid Y=y)={\frac {P(Y=y\mid X=x)\,f_{X}(x)}{P(Y=y)}}.}$

Если ${\displaystyle X}$ дискретна, а ${\displaystyle Y}$ непрерывна:

${\displaystyle P(X=x\mid Y=y)={\frac {f_{Y}(y\mid X=x)\,P(X=x)}{f_{Y}(y)}}.}$

Если обе величины непрерывны:

${\displaystyle f_{X}(x\mid Y=y)={\frac {f_{Y}(y\mid X=x)\,f_{X}(x)}{f_{Y}(y)}}.}$

На практике совместное распределение обычно задают через априорную плотность ${\displaystyle f_{X}}$ и условную плотность ${\displaystyle f_{Y}(\,\cdot \mid X=x)}$. Тогда знаменатель (маргинальная плотность ${\displaystyle f_{Y}(y)}$) получается интегрированием числителя по всем значениям ${\displaystyle x}$ — это непрерывный аналог формулы полной вероятности:

${\displaystyle f_{Y}(y)=\int _{-\infty }^{\infty }f_{Y}(y\mid X=\xi )\,f_{X}(\xi )\,d\xi .}$

Подставляя, получаем развёрнутую форму для непрерывного случая:

${\displaystyle f_{X}(x\mid Y=y)={\frac {f_{Y}(y\mid X=x)\,f_{X}(x)}{\displaystyle \int _{-\infty }^{\infty }f_{Y}(y\mid X=\xi )\,f_{X}(\xi )\,d\xi }}.}$

Именно вычисление этого интеграла — главная вычислительная трудность байесовских методов: в многомерных задачах он берётся приближённо, численно или методами Монте-Карло по схеме марковских цепей^[15].

Пусть ${\displaystyle B}$ — событие «машина не заводится», а гипотеза ${\displaystyle A}$ — «в баке нет топлива». Если бак пуст, машина заведомо не заведётся, то есть ${\displaystyle P(B\mid A)=1}$. В этом частном случае формула Байеса упрощается:

${\displaystyle P(A\mid B)={\frac {1\cdot P(A)}{P(B)}}={\frac {P(A)}{P(B)}}.}$

Пусть ${\displaystyle P(A)=0{,}01}$, а ${\displaystyle P(B)=0{,}02}$. Тогда для случайно выбранной незаводящейся машины вероятность пустого бака равна ${\displaystyle 0{,}01/0{,}02=0{,}5}$. Наблюдение увеличило вероятность гипотезы в 50 раз, но она всё ещё не превышает половины: помимо пустого бака существуют другие причины неисправности.

Пусть доля брака у первого рабочего ${\displaystyle p_{1}=0{,}02}$, у второго ${\displaystyle p_{2}=0{,}03}$, у третьего ${\displaystyle p_{3}=0{,}01}$. Первый изготовил ${\displaystyle n_{1}=800}$ деталей, второй ${\displaystyle n_{2}=600}$, третий ${\displaystyle n_{3}=900}$. Начальник цеха берёт наугад деталь, и она оказывается бракованной. С какой вероятностью её изготовил третий рабочий?

Пусть ${\displaystyle B}$ — «деталь бракованная», ${\displaystyle A_{i}}$ — «деталь изготовил ${\displaystyle i}$-й рабочий», ${\displaystyle i=1,2,3}$. Гипотезы ${\displaystyle A_{1},A_{2},A_{3}}$ образуют полную группу. Тогда ${\displaystyle P(A_{i})=n_{i}/N}$, где ${\displaystyle N=n_{1}+n_{2}+n_{3}=2300}$, и ${\displaystyle P(B\mid A_{i})=p_{i}}$.

По формуле полной вероятности:

${\displaystyle P(B)=\sum _{i=1}^{3}p_{i}\,{\frac {n_{i}}{N}}={\frac {0{,}02\cdot 800+0{,}03\cdot 600+0{,}01\cdot 900}{2300}}={\frac {43}{2300}}\approx 0{,}0187.}$

По формуле Байеса:

${\displaystyle P(A_{3}\mid B)={\frac {p_{3}n_{3}/N}{\sum _{i=1}^{3}p_{i}n_{i}/N}}={\frac {0{,}01\cdot 900}{43}}={\frac {9}{43}}\approx 0{,}209.}$

Хотя третий рабочий изготовил больше всех деталей, он аккуратнее прочих, поэтому вероятность его авторства для бракованной детали ниже, чем у второго: ${\displaystyle P(A_{1}\mid B)=16/43\approx 0{,}372}$, ${\displaystyle P(A_{2}\mid B)=18/43\approx 0{,}419}$. Сумма трёх апостериорных вероятностей равна единице.

Энтомолог предполагает, что найденный жук относится к редкому подвиду, поскольку у него на спинке есть узор. В редком подвиде узор имеют 98 % особей: ${\displaystyle P({\text{узор}}\mid {\text{редкий}})=0{,}98}$. Среди обычных жуков узор встречается лишь у 5 %: ${\displaystyle P({\text{узор}}\mid {\text{обычный}})=0{,}05}$. Редкий подвид составляет 0,1 % популяции: ${\displaystyle P({\text{редкий}})=0{,}001}$. Какова вероятность того, что жук с узором относится к редкому подвиду?

Гипотезы «редкий» и «обычный» образуют полную группу, поэтому:

${\displaystyle P({\text{редкий}}\mid {\text{узор}})={\frac {0{,}98\cdot 0{,}001}{0{,}98\cdot 0{,}001+0{,}05\cdot 0{,}999}}\approx 0{,}019.}$

Несмотря на выразительный признак, вероятность остаётся малой: редких жуков попросту слишком мало. Тем не менее наблюдение узора повысило вероятность гипотезы примерно в 19 раз — с 0,1 до 1,9 %.

Пусть заболевание встречается у 0,1 % населения, а диагностический тест выявляет больного с вероятностью 0,9 и даёт ложноположительный результат у здорового с вероятностью 0,01. Первая величина называется чувствительностью теста, вторая дополняет его специфичность до единицы. Какова вероятность того, что человек с положительным результатом на самом деле здоров?

Для избежания путаницы обозначим положительный результат теста как ${\displaystyle T^{+}}$, а истинное состояние пациента — как ${\displaystyle D}$ (болен) и ${\displaystyle \neg D}$ (здоров). По условию:

${\displaystyle P(T^{+}\mid D)=0{,}9,\qquad P(T^{+}\mid \neg D)=0{,}01,}$

${\displaystyle P(D)=0{,}001,\qquad P(\neg D)=0{,}999.}$

Полная вероятность положительного результата:

${\displaystyle P(T^{+})=0{,}01\cdot 0{,}999+0{,}9\cdot 0{,}001=0{,}01089.}$

Отсюда вероятность того, что пациент здоров при положительном тесте:

${\displaystyle P(\neg D\mid T^{+})={\frac {0{,}01\cdot 0{,}999}{0{,}01089}}\approx 0{,}917.}$

Таким образом, около 91,7 % положительных результатов ложные. Причина в том, что вероятность ложного срабатывания, хотя и мала сама по себе, на порядок превышает долю больных в обследуемой группе^[17]. Этот эффект — характерный пример ошибки базового процента и служит доводом против сплошного скрининга редких заболеваний.

Если ошибки теста при повторном обследовании можно считать условно независимыми при известном состоянии пациента, то результат второго положительного теста пересчитывается по той же формуле, причём апостериорная вероятность первого шага становится априорной для второго:

${\displaystyle P(\neg D\mid T_{1}^{+}\cap T_{2}^{+})={\frac {0{,}01^{2}\cdot 0{,}999}{0{,}01^{2}\cdot 0{,}999+0{,}9^{2}\cdot 0{,}001}}\approx 0{,}110.}$

После двух независимых положительных результатов доля ложных срабатываний падает с 91,7 до 11 %. Предположение об условной независимости здесь существенно: если ошибка вызвана устойчивой особенностью организма, повторный тест даст тот же неверный результат, и никакого уточнения не произойдёт^[18].

Если событие ${\displaystyle B}$ зафиксировано, знаменатель ${\displaystyle P(B)}$ представляет собой одно и то же число для всех гипотез, поэтому

${\displaystyle P(A\mid B)\propto P(A)\cdot P(B\mid A),}$

то есть апостериорная вероятность пропорциональна произведению априорной вероятности на правдоподобие^[19]. Коэффициент пропорциональности ${\displaystyle c}$ восстанавливается из условия нормировки. Для гипотезы ${\displaystyle A}$ и её отрицания ${\displaystyle \neg A}$

${\displaystyle P(A\mid B)=c\,P(A)\,P(B\mid A),\qquad P(\neg A\mid B)=c\,P(\neg A)\,P(B\mid \neg A),}$

а так как сумма этих вероятностей равна единице,

${\displaystyle c={\frac {1}{P(A)\,P(B\mid A)+P(\neg A)\,P(B\mid \neg A)}}.}$

Если задана полная группа гипотез ${\displaystyle \{A_{j}\}}$, где ${\displaystyle j=1,\ldots ,N}$ (число гипотез ${\displaystyle N}$ конечно или счётно), то

${\displaystyle P(B)=\sum _{j=1}^{N}P(B\mid A_{j})\,P(A_{j}),}$

и, следовательно, для любого ${\displaystyle i}$ из того же диапазона ${\displaystyle 1\leqslant i\leqslant N}$

${\displaystyle P(A_{i}\mid B)={\frac {P(B\mid A_{i})\,P(A_{i})}{\sum \limits _{j=1}^{N}P(B\mid A_{j})\,P(A_{j})}}.}$

В частном случае двух гипотез — ${\displaystyle A}$ и ${\displaystyle \neg A}$ —

${\displaystyle P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B\mid A)\,P(A)+P(B\mid \neg A)\,P(\neg A)}}.}$

Шансами (англ. odds) двух гипотез называют отношение их вероятностей:

${\displaystyle O(A_{1}{:}A_{2})={\frac {P(A_{1})}{P(A_{2})}},\qquad O(A_{1}{:}A_{2}\mid B)={\frac {P(A_{1}\mid B)}{P(A_{2}\mid B)}}.}$

Величина ${\displaystyle O(A_{1}{:}A_{2})}$ — априорные шансы, ${\displaystyle O(A_{1}{:}A_{2}\mid B)}$ — апостериорные. Отношением правдоподобия называют

${\displaystyle \Lambda (A_{1}{:}A_{2}\mid B)={\frac {P(B\mid A_{1})}{P(B\mid A_{2})}}.}$

Если записать формулу Байеса для ${\displaystyle A_{1}}$ и ${\displaystyle A_{2}}$ и поделить одно равенство на другое, знаменатель ${\displaystyle P(B)}$ сократится, и получится правило Байеса:

${\displaystyle O(A_{1}{:}A_{2}\mid B)=O(A_{1}{:}A_{2})\cdot \Lambda (A_{1}{:}A_{2}\mid B).}$

Апостериорные шансы равны априорным, умноженным на отношение правдоподобия. Эта форма удобна тем, что не требует вычисления ${\displaystyle P(B)}$, а при последовательном поступлении условно независимых данных отношения правдоподобия просто перемножаются; логарифмируя, их заменяют сложением, что и применялось при дешифровке «Энигмы»^[10].

Например, в задаче о медицинском тесте априорные шансы «болен против здоров» равны ${\displaystyle 0{,}001:0{,}999\approx 1{:}999}$, отношение правдоподобия положительного результата равно ${\displaystyle 0{,}9/0{,}01=90}$, поэтому апостериорные шансы составляют ${\displaystyle 90{:}999}$, что даёт вероятность болезни ${\displaystyle 90/1089\approx 0{,}083}$ — тот же ответ, что и выше^[20].