Центральная предельная теорема

Пусть ${\displaystyle X_{1},\ldots ,X_{n},\ldots }$ есть бесконечная последовательность независимых одинаково распределённых случайных величин, имеющих конечное математическое ожидание ${\displaystyle \mu }$ и дисперсию ${\displaystyle \sigma ^{2}}$. Пусть также

${\displaystyle S_{n}=\sum \limits _{i=1}^{n}X_{i}}$.

Тогда

${\displaystyle {\frac {S_{n}-\mu n}{\sigma {\sqrt {n}}}}\to N(0,1)}$ по распределению при ${\displaystyle n\to \infty }$,

где ${\displaystyle N(0,1)}$ — нормальное распределение с нулевым математическим ожиданием и стандартным отклонением, равным единице. Определяя выборочное среднее первых ${\displaystyle n}$ величин как

${\displaystyle {\bar {X}}_{n}={\frac {1}{n}}\sum \limits _{i=1}^{n}X_{i}}$,

мы можем переписать результат центральной предельной теоремы в следующем виде:

${\displaystyle {\sqrt {n}}{\frac {{\bar {X}}_{n}-\mu }{\sigma }}\to N(0,1)}$ по распределению при ${\displaystyle n\to \infty }$.

Скорость сходимости можно оценить с помощью неравенства Берри — Эссеена.

• Неформально говоря, классическая центральная предельная теорема утверждает, что сумма ${\displaystyle n}$ независимых одинаково распределённых случайных величин имеет распределение, близкое к ${\displaystyle N(n\mu ,n\sigma ^{2})}$. Эквивалентно, ${\displaystyle {\bar {X}}_{n}}$ имеет распределение близкое к ${\displaystyle N(\mu ,\sigma ^{2}/n)}$.
• Так как функция распределения стандартного нормального распределения непрерывна, сходимость к этому распределению эквивалентна поточечной сходимости функций распределения к функции распределения стандартного нормального распределения. Положив ${\displaystyle Z_{n}={\frac {S_{n}-\mu n}{\sigma {\sqrt {n}}}}}$, получаем ${\displaystyle F_{Z_{n}}(x)\to \Phi (x),\;\forall x\in \mathbb {R} }$, где ${\displaystyle \Phi (x)}$ — функция распределения стандартного нормального распределения.
• Центральная предельная теорема в классической формулировке доказывается методом характеристических функций (теорема Леви о непрерывности).
• Вообще говоря, из сходимости функций распределения не вытекает сходимость плотностей. Тем не менее в данном классическом случае это имеет место.

В предположениях классической формулировки, допустим в дополнение, что распределение случайных величин ${\displaystyle \{X_{i}\}_{i=1}^{\infty }}$ абсолютно непрерывно, то есть оно имеет плотность. Тогда распределение ${\displaystyle Z_{n}}$ также абсолютно непрерывно, и более того,

${\displaystyle f_{Z_{n}}(x)\to {\frac {1}{\sqrt {2\pi }}}\,e^{-{\frac {x^{2}}{2}}}}$ при ${\displaystyle n\to \infty }$,

где ${\displaystyle f_{Z_{n}}(x)}$ — плотность случайной величины ${\displaystyle Z_{n}}$, а в правой части стоит плотность стандартного нормального распределения.

Результат классической центральной предельной теоремы справедлив для ситуаций гораздо более общих, чем полная независимость и одинаковая распределённость.

^[2]Пусть независимые случайные величины ${\displaystyle X_{1},\ldots ,X_{n},\ldots }$ определены на одном и том же вероятностном пространстве и имеют конечные математические ожидания и дисперсии: ${\displaystyle \mathbb {E} [X_{i}]=\mu _{i},\;\mathrm {D} [X_{i}]=\sigma _{i}^{2}}$.

Пусть ${\displaystyle S_{n}=\sum \limits _{i=1}^{n}X_{i}}$.

Тогда ${\displaystyle \mathbb {E} [S_{n}]=m_{n}=\sum \limits _{i=1}^{n}\mu _{i},\;\mathrm {D} [S_{n}]=s_{n}^{2}=\sum \limits _{i=1}^{n}\sigma _{i}^{2}}$.

И пусть выполняется условие Линдеберга:

${\displaystyle \forall \varepsilon >0,\;\lim \limits _{n\to \infty }\sum \limits _{i=1}^{n}\mathbb {E} \left[{\frac {(X_{i}-\mu _{i})^{2}}{s_{n}^{2}}}\,\mathbf {1} _{\{|X_{i}-\mu _{i}|>\varepsilon s_{n}\}}\right]=0,}$

где ${\displaystyle \mathbf {1} _{\{|X_{i}-\mu _{i}|>\varepsilon s_{n}\}}}$ функция — индикатор.

Тогда

${\displaystyle {\frac {S_{n}-m_{n}}{s_{n}}}\to N(0,1)}$ по распределению при ${\displaystyle n\to \infty }$.

Пусть выполнены базовые предположения ЦПТ Линдеберга. Пусть случайные величины ${\displaystyle \{X_{i}\}}$ имеют конечный третий момент. Тогда определена последовательность

${\displaystyle r_{n}^{3}=\sum _{i=1}^{n}\mathbb {E} \left[|X_{i}-\mu _{i}|^{3}\right]}$.

Если предел

${\displaystyle \lim \limits _{n\to \infty }{\frac {r_{n}}{s_{n}}}=0}$ (условие Ляпунова),

то

${\displaystyle {\frac {S_{n}-m_{n}}{s_{n}}}\to N(0,1)}$ по распределению при ${\displaystyle n\to \infty }$.

Пусть процесс ${\displaystyle (X_{n})_{n\in \mathbb {N} }}$ является мартингалом с ограниченными приращениями. В частности, допустим, что

${\displaystyle \mathbb {E} \left[X_{n+1}-X_{n}\mid X_{1},\ldots ,X_{n}\right]=0,\;n\in \mathbb {N} ,\;X_{0}\equiv 0,}$

и приращения равномерно ограничены, то есть

${\displaystyle \exists C>0\,\forall n\in \mathbb {N} \;|X_{n+1}-X_{n}|\leq C}$ п.н.

Введём случайные процессы ${\displaystyle \sigma _{n}^{2}}$ и ${\displaystyle \tau _{n}}$ следующим образом:

${\displaystyle \sigma _{n}^{2}=\mathbb {E} \left[(X_{n+1}-X_{n})^{2}\mid X_{1},\ldots ,X_{n}\right]}$

и

${\displaystyle \tau _{n}=\min \left\{k\left\vert \;\sum _{i=1}^{k}\sigma _{i}^{2}\geq n\right.\right\}}$.

Тогда

${\displaystyle {\frac {X_{\tau _{n}}}{\sqrt {n}}}\to N(0,1)}$ по распределению при ${\displaystyle n\to \infty }$.

Пусть ${\displaystyle {\vec {X_{1}}},\ldots ,{\vec {X_{n}}},\ldots }$ последовательность независимых и одинаково распределённых случайных векторов, каждый из которых имеет среднее ${\displaystyle E{\vec {X_{1}}}={\vec {a}}}$ и невырожденную матрицу ковариаций ${\displaystyle \Sigma }$. Обозначим через ${\displaystyle S_{n}={\vec {X_{1}}}+\ldots +{\vec {X_{n}}}}$ вектор частичных сумм. Тогда при ${\displaystyle n\to \infty }$ имеет место слабая сходимость распределений векторов

${\displaystyle {\vec {\eta _{n}}}={\frac {S_{n}-na}{\sqrt {n}}}{\xrightarrow {weak}}{\vec {\eta }}}$, где ${\displaystyle {\vec {\eta }}}$ имеет распределение ${\displaystyle N({{\vec {0}},\Sigma })}$.