Схема Бернулли

Идея повторять один и тот же двуисходный опыт старше трактата Бернулли. В переписке 1654 года Б. Паскаль и П. Ферма решили задачу о разделе ставки, фактически считая оставшиеся партии независимыми и равновероятными (${\displaystyle p=1/2}$)^[6][4].

Х. Гюйгенс в De ratiociniis in ludo aleae (1657) переложил эти рассуждения на язык математического ожидания^[7]. П. Р. де Монмор в Essay d'analyse sur les jeux de hazard (1708) рассматривал повторные партии в более общих играх^[8].

Якоб Бернулли (1654–1705) в четвёртой части Ars Conjectandi (Базель, 1713; рукопись издал племянник Николаус) доказал, что частота события с постоянной вероятностью ${\displaystyle p}$ сходится к ${\displaystyle p}$^[1]. Он мыслил теорему как мост от «апостериорных» наблюдений к «априорным» шансам и дал численные оценки, достаточные, по его мнению, для моральной уверенности, но практически очень широкие^[3][9].

А. де Муавр в The Doctrine of Chances (1718; расширенные издания 1738 и 1756) и в латинском приложении 1733 года к Miscellanea analytica получил нормальное приближение биномиальных вероятностей, введя тем самым колоколообразную кривую и естественный масштаб ${\displaystyle {\sqrt {n}}}$^[10][11][12].

П. С. Лаплас в Théorie analytique des probabilités (1812) придал интегральной теореме канонический вид^[13]. С. Д. Пуассон в Recherches sur la probabilité des jugements (1837) выписал распределение редких событий, носящее его имя; статистическую жизнь оно получило после работы Л. фон Борткевича Das Gesetz der kleinen Zahlen (1898)^[14][15].

Во второй половине XIX века П. Л. Чебышёв (1867) доказал закон больших чисел для сумм с ограниченной дисперсией, уже не обязательно бернуллиевых^[16].

А. М. Ляпунов и Я. В. Линдеберг распространили центральную предельную теорему за пределы схемы Бернулли. А. Н. Колмогоров (1933) встроил конечную и бесконечную схемы в аксиоматику вероятностного пространства как (конечное или бесконечное) произведение мер^[17].

Для применения схемы Бернулли должны одновременно выполняться три условия^[18][19]:

1. каждое испытание имеет ровно два исхода, называемых успехом и неудачей (названия условны: «успех» - тот исход, вероятность которого равна ${\displaystyle p}$);
2. испытания независимы:

результат очередного опыта не зависит от предыдущих;

1. вероятность успеха постоянна:

${\displaystyle 0\leq p\leq 1}$ одна и та же во всех ${\displaystyle n}$ опытах, ${\displaystyle q=1-p}$.

Если исходы зависимы (извлечение без возвращения) или вероятность меняется от шага к шагу, схема Бернулли неприменима: число «успехов» тогда имеет, как правило, гипергеометрическое распределение или иное распределение суммы зависимых индикаторов. При большом объёме генеральной совокупности гипергеометрическая модель близка к бернуллиевой - это обычное обоснование выборочного контроля «как если бы с возвращением»^[20].

Событие ${\displaystyle \{S_{n}=k\}}$ состоит из тех слов, в которых ровно ${\displaystyle k}$ единиц. Таких слов:

${\displaystyle C_{n}^{k}={\frac {n!}{k!\,(n-k)!}},}$

и каждое в силу независимости имеет вероятность ${\displaystyle p^{k}q^{n-k}}$. Складывая несовместные элементарные исходы, получают формулу Бернулли^[23][24]:

${\displaystyle P_{n}(k):=P(S_{n}=k)=C_{n}^{k}p^{k}q^{n-k},\qquad k=0,1,\dots ,n.}$

Набор ${\displaystyle \{P_{n}(k)\}_{k=0}^{n}}$ есть биномиальное распределение с параметрами ${\displaystyle n}$ и ${\displaystyle p}$ (пишут ${\displaystyle S_{n}\sim \mathrm {Bin} (n,p)}$). Название отражает тождество:

${\displaystyle (q+p)^{n}=\sum _{k=0}^{n}C_{n}^{k}p^{k}q^{n-k}=1.}$

Частные случаи:

• ${\displaystyle P(S_{n}=0)=q^{n}}$ - ни одного успеха;
• ${\displaystyle P(S_{n}=n)=p^{n}}$ - все успехи;
• ${\displaystyle P(S_{n}\geq 1)=1-q^{n}}$ - хотя бы один успех;
• ${\displaystyle P(S_{n}\leq m)=\sum _{k=0}^{m}C_{n}^{k}p^{k}q^{n-k}}$ - функция распределения (неполная бета-функция).

В учебниках «формулой Бернулли» называют именно выражение для ${\displaystyle P_{n}(k)}$. Сам Якоб Бернулли работал с биномиальными коэффициентами в доказательстве закона больших чисел, но не выделял ${\displaystyle P_{n}(k)}$ как отдельную «именную» формулу; современное имя закрепилось в учебной традиции XIX–XX веков^[4].

Из схемы Бернулли выводятся несколько классических законов^[29][30]:

• Распределение Бернулли - закон одной координаты ${\displaystyle X_{i}}$: ${\displaystyle P(X=1)=p}$, ${\displaystyle P(X=0)=q}$ - это схема при ${\displaystyle n=1}$;
• Геометрическое распределение - номер первого успеха ${\displaystyle T=\min\{i:X_{i}=1\}}$ имеет:

${\displaystyle P(T=k)=q^{k-1}p,\qquad k=1,2,\dots }$

(бесконечная серия испытаний) - свойство отсутствия памяти: ${\displaystyle P(T>n+m\mid T>n)=P(T>m)}$;

• Отрицательное биномиальное (Паскаля) - номер ${\displaystyle r}$ - го успеха - при ${\displaystyle r=1}$ получается геометрическое;
• Полиномиальная (мультиномиальная) схема - обобщение на ${\displaystyle r>2}$ исходов с вероятностями ${\displaystyle p_{1}+\dots +p_{r}=1}$:

${\displaystyle P(N_{1}=m_{1},\dots ,N_{r}=m_{r})={\frac {n!}{m_{1}!\cdots m_{r}!}}\,p_{1}^{m_{1}}\cdots p_{r}^{m_{r}},}$

где ${\displaystyle m_{1}+\dots +m_{r}=n}$ - при ${\displaystyle r=2}$ это снова формула Бернулли.

В прикладных задачах параметр ${\displaystyle p}$ часто неизвестен и подлежит оценке по результатам ${\displaystyle n}$ испытаний.

Классическая схема Бернулли предполагает постоянную вероятность успеха. На практике это условие иногда нарушается, что приводит к следующим обобщениям.

При большом ${\displaystyle n}$ прямое вычисление ${\displaystyle C_{n}^{k}p^{k}q^{n-k}}$ неудобно (факториалы огромны). Три классических приближения относятся именно к схеме Бернулли и исторически предшествовали общим формам ЗБЧ и ЦПТ^[34][35].

Закон больших чисел Бернулли

Теорема (Я. Бернулли, 1713). Для любого ${\displaystyle \varepsilon >0}$:

${\displaystyle P{\bigl (}{\bigl |}S_{n}/n-p{\bigr |}>\varepsilon {\bigr )}\to 0\quad (n\to \infty ).}$

Это слабый закон больших чисел в исходной форме: частота стабилизируется около «истинного отношения шансов». Бернулли дал явные (очень широкие) оценки скорости; количественно точную шкалу отклонений ${\displaystyle 1/{\sqrt {n}}}$ нашёл Муавр. Неравенство Чебышёва даёт простую оценку:

${\displaystyle P{\bigl (}{\bigl |}S_{n}/n-p{\bigr |}\geq \varepsilon {\bigr )}\leq {\frac {pq}{n\varepsilon ^{2}}}\leq {\frac {1}{4n\varepsilon ^{2}}},}$

уже достаточную для доказательства теоремы, но полученную полтора века спустя^[4][36]* Секей Г. Парадоксы в теории вероятностей и математической статистике. — М.: Мир, 1990. — С. 41-45. — ISBN 5-03-001293-1..

Теоремы Муавра — Лапласа

Пусть ${\displaystyle 0<p<1}$ фиксировано, ${\displaystyle x_{k}=(k-np)/{\sqrt {npq}}}$. Локальная теорема (Муавр, 1733; в современной форме - Лаплас):

${\displaystyle P(S_{n}=k)={\frac {1}{\sqrt {2\pi npq}}}\,e^{-x_{k}^{2}/2}\,(1+o(1))}$

равномерно по ${\displaystyle k}$ в области ${\displaystyle |x_{k}|=O(1)}$. Интегральная теорема:

${\displaystyle P{\bigl (}a\leq S_{n}\leq b{\bigr )}\approx \Phi {\Bigl (}{\frac {b+1/2-np}{\sqrt {npq}}}{\Bigr )}-\Phi {\Bigl (}{\frac {a-1/2-np}{\sqrt {npq}}}{\Bigr )},}$

где ${\displaystyle \Phi }$ - функция распределения стандартного нормального закона, а слагаемые ${\displaystyle \pm 1/2}$ - поправка на непрерывность. Практическое правило: приближение приемлемо при ${\displaystyle npq\gtrsim 9}$…20. Это исторически первый вариант центральной предельной теоремы^[37].

Бесконечная последовательность независимых испытаний задаёт бернуллиевскую меру - бесконечное произведение ${\displaystyle \mu _{p}^{\otimes \mathbb {N} }}$ на пространстве ${\displaystyle \{0,1\}^{\mathbb {N} }}$ (или ${\displaystyle [0,1]}$ после двоичной записи). Сдвиг последовательности ${\displaystyle (x_{1},x_{2},\dots )\mapsto (x_{2},x_{3},\dots )}$ сохраняет эту меру и называется сдвигом Бернулли (схемой Бернулли в эргодической теории). Это совершенно другой объект:

там изучают изоморфизм динамических систем, энтропию и теорему Орнстейна, а не биномиальные коэффициенты. В учебной вероятности слово «схема» почти всегда относится к конечной серии^[39].

Две монеты. Симметричную монету бросают дважды, ${\displaystyle n=2}$, ${\displaystyle p=1/2}$. Тогда:

${\displaystyle P(S_{2}=0)=P(S_{2}=2)=1/4,\qquad P(S_{2}=1)=1/2.}$

это то же пространство, что дерево исходов из четырёх листьев вероятности ${\displaystyle 1/4}$.

Десять бросков. ${\displaystyle n=10}$, ${\displaystyle p=1/2}$, ровно четыре «орла»:

${\displaystyle P_{10}(4)=C_{10}^{4}\cdot 2^{-10}=210/1024=105/512\approx 0{,}205.}$

Наивероятнейшие числа - 5 (единственная мода, ${\displaystyle np=5}$).

Игральная кость. Кость бросают 4 раза, успех - «шестёрка», ${\displaystyle p=1/6}$. Вероятность ровно одного успеха:

${\displaystyle P_{4}(1)=C_{4}^{1}\cdot {\frac {1}{6}}\cdot {\Bigl (}{\frac {5}{6}}{\Bigr )}^{3}={\frac {500}{1296}}\approx 0{,}386.}$

Наивероятнейшее число - 0, потому что ${\displaystyle np-q=4/6-5/6<0}$.

Редкие отказы. Аппаратура из 1000 элементов, вероятность отказа элемента за год ${\displaystyle p=0{,}002}$. Тогда ${\displaystyle \lambda =np=2}$, и по Пуассону:

${\displaystyle P(S_{1000}=2)\approx e^{-2}\cdot {\frac {2^{2}}{2}}\approx 0{,}271,\qquad P(S_{1000}\geq 2)\approx 1-e^{-2}(1+2)\approx 0{,}594.}$

прямое биномиальное вычисление даёт почти те же значения.

Геометрическое ожидание. Вероятность, что первая шестёрка выпадет при ${\displaystyle k}$ - м броске, равна ${\displaystyle (5/6)^{k-1}(1/6)}$. Среднее время ожидания - ${\displaystyle 1/p=6}$ бросков.

• Контроль качества. План однократной выборки ${\displaystyle (n,c)}$:

из партии берут ${\displaystyle n}$ изделий, партию принимают, если дефектных не больше ${\displaystyle c}$. При модели «с возвращением» или при большой партии число дефектных есть ${\displaystyle S_{n}}$, оперативная характеристика:

${\displaystyle P(S_{n}\leq c)}$ как функция доли дефекта ${\displaystyle p}$;

• Медицина и социология. Успех лечения, наличие признака, ответ «да/нет» в опросе:

оценка доли есть ${\displaystyle S_{n}/n}$, доверительные интервалы строят по нормальному или точечному (Клоппера - Пирсона) приближению биномиального закона;

• Надёжность. ${\displaystyle n}$ независимо работающих однотипных узлов;

отказ узла - «успех» редкого события. Число отказов за интервал времени приближают законом Пуассона;

• Генетика. Расщепление 3:1 или 1:2:1 при независимом комбинировании аллелей - схема Бернулли или её полиномиальное обобщение (решётка Пеннета как дерево с постоянными ${\displaystyle p}$);
• Криптография и алгоритмы. Случайный бит - испытание с ${\displaystyle p=1/2}$;

схема Бернулли моделирует источник независимых битов, хеш-коллизии и рандомизированные алгоритмы;

• Страхование и редкие события. Число страховых случаев среди ${\displaystyle n}$ договоров при малой вероятности:

классическое поле для пуассоновского предела (закон малых чисел Борткевича);