Условное математическое ожидание

Будем считать, что дано вероятностное пространство ${\displaystyle (\Omega ,{\mathcal {F}},\mathbb {P} )}$. Пусть ${\displaystyle X:\Omega \to \mathbb {R} }$ — интегрируемая случайная величина, то есть ${\displaystyle \mathbb {E} \vert X\vert <\infty }$. Пусть также ${\displaystyle {\mathcal {G}}\subset {\mathcal {F}}}$ — σ-подалгебра σ-алгебры ${\displaystyle {\mathcal {F}}}$^[1].

• Условное математическое ожидание — это случайная величина, а не число.
• Условное математическое ожидание определено с точностью до событий вероятности нуль. Если ${\displaystyle {\hat {X}}_{1}}$ и ${\displaystyle {\hat {X}}_{2}}$ — два варианта условного математического ожидания ${\displaystyle \mathbb {E} [X\mid {\mathcal {G}}]}$, то ${\displaystyle {\hat {X}}_{1}={\hat {X}}_{2}}$ ${\displaystyle \mathbb {P} }$-почти всюду. Отождествив случайные величины, различающиеся лишь на событиях вероятности нуль, получаем единственность условного математического ожидания^[1][3].
• Взяв ${\displaystyle A=\Omega }$, получаем по определению:

${\displaystyle \mathbb {E} [X]=\mathbb {E} [\mathbb {E} [X\mid {\mathcal {G}}]]}$,

и в частности справедлива формула полной вероятности:

${\displaystyle \mathbb {P} (B)=\mathbb {E} [\mathbb {P} (B\mid {\mathcal {G}})]}$^[1][3].

• Пусть σ-алгебра ${\displaystyle {\mathcal {G}}=\sigma (C_{1},\ldots ,C_{n})}$ порождена разбиением ${\displaystyle \{C_{i}\}_{i=1}^{\infty }}$. Тогда

${\displaystyle \mathbb {E} [X\mid {\mathcal {G}}]=\sum _{i=1}^{\infty }\mathbb {E} [X\mid C_{i}]\mathbf {1} _{C_{i}}}$.

В частности, формула полной вероятности принимает классический вид:

${\displaystyle \mathbb {P} (A\mid {\mathcal {G}})=\sum \limits _{i=1}^{\infty }\mathbb {P} (A\mid C_{i})\mathbf {1} _{C_{i}}}$,

а следовательно,

${\displaystyle \mathbb {E} [\mathbb {P} (A\mid {\mathcal {G}})]=\sum \limits _{i=1}^{\infty }\mathbb {P} (A\mid C_{i})\mathbb {E} [\mathbf {1} _{C_{i}}]=\sum \limits _{i=1}^{\infty }\mathbb {P} (A\mid C_{i})\,\mathbb {P} (C_{i})=\mathbb {P} (A)}$.

• Если ${\displaystyle X\geq 0}$ п.н., то ${\displaystyle \mathbb {E} [X\mid {\mathcal {G}}]\geq 0}$ п. н.^[3]
• Если ${\displaystyle X}$ — ${\displaystyle {\mathcal {G}}}$-измерима, то ${\displaystyle \mathbb {E} [X\mid {\mathcal {G}}]=X}$ п. н.^[3]
• Если ${\displaystyle X}$ независима от ${\displaystyle {\mathcal {G}}}$, то

${\displaystyle \mathbb {E} [X\mid {\mathcal {G}}]=\mathbb {E} [X]}$ п.н.

В частности, если ${\displaystyle X,Y}$ независимые случайные величины, то

${\displaystyle \mathbb {E} [X\mid Y]=\mathbb {E} [X]}$ п.н.^[1]

• Телескопическое свойство: если ${\displaystyle {\mathcal {G}}_{1},{\mathcal {G}}_{2}}$ — две σ-алгебры, такие, что ${\displaystyle {\mathcal {G}}_{1}\subset {\mathcal {G}}_{2}\subset {\mathcal {F}}}$, то

${\displaystyle \mathbb {E} [\mathbb {E} [X\mid {\mathcal {G}}_{2}]\mid {\mathcal {G}}_{1}]=\mathbb {E} [X\mid {\mathcal {G}}_{1}]}$ п.н.^[1]

• Если ${\displaystyle X}$ — ${\displaystyle {\mathcal {G}}}$-измерима, и ${\displaystyle Y}$ — случайная величина, такая, что ${\displaystyle Y,XY\in L^{1}}$, то

${\displaystyle \mathbb {E} [XY\mid {\mathcal {G}}]=X\,\mathbb {E} [Y\mid {\mathcal {G}}]}$ п.н.^[3]

• «Математическое ожидание убирает условие». Это правило верно для УМО относительно случайной величины (УМО в таком случае будет случайной величиной) и для условной вероятности относительно случайной величины

${\displaystyle \mathbb {E} [\mathbb {E} (X\mid Y)]=\mathbb {E} (X)}$.

• Для проверки равенства ${\displaystyle \mathbb {E} [{\hat {X}}\mathbf {1} _{A}]=\mathbb {E} [X\mathbf {1} _{A}]}$ в определении условного математического ожидания достаточно убедиться в нём для всех ${\displaystyle A}$ из π-системы, порождающей ${\displaystyle {\mathcal {G}}}$^[3].

• Теорема Леви о монотонной сходимости.
• Теорема Лебега о мажорируемой сходимости.
• Лемма Фату.
• Неравенство Йенсена.

Условным распределением случайной величины ${\displaystyle X}$ относительно σ-алгебры ${\displaystyle {\mathcal {G}}\subset {\mathcal {F}}}$ называется функция ${\displaystyle \mathbb {P} (X\in B\mid {\mathcal {G}})(\omega )}$, определённая для всех ${\displaystyle B\in {\mathcal {B}}(\mathbb {R} )}$ и ${\displaystyle \omega \in \Omega }$ и обладающая свойствами:

• при каждом ${\displaystyle \omega \in \Omega }$ отображение ${\displaystyle B\mapsto \mathbb {P} (X\in B\mid {\mathcal {G}})(\omega )}$ является вероятностной мерой на ${\displaystyle {\mathcal {B}}(\mathbb {R} )}$;
• для каждого ${\displaystyle B\in {\mathcal {B}}(\mathbb {R} )}$ функция ${\displaystyle \omega \mapsto \mathbb {P} (X\in B\mid {\mathcal {G}})(\omega )}$ является вариантом условной вероятности ${\displaystyle \mathbb {P} (X\in B\mid {\mathcal {G}})}$, то есть ${\displaystyle \mathbb {P} (X\in B\mid {\mathcal {G}})=\mathbb {E} [\mathbf {1} _{\{X\in B\}}\mid {\mathcal {G}}]}$^[2]

Условное распределение всегда существует, однако вопрос о существовании регулярной версии — такой, что при каждом ${\displaystyle \omega \in \Omega }$ отображение ${\displaystyle B\mapsto \mathbb {P} (X\in B\mid {\mathcal {G}})(\omega )}$ является вероятностной мерой одновременно для всех ${\displaystyle B}$, — сложнее. Регулярная версия существует, если ${\displaystyle X}$ принимает значения в борелевском пространстве^[2].

Если ${\displaystyle X}$ и ${\displaystyle Y}$ — случайные величины и существует такая функция ${\displaystyle p_{X\mid Y}(x\mid y)}$, что

${\displaystyle \mathbb {P} (X\in B\mid Y=y)=\int \limits _{B}p_{X\mid Y}(x\mid y)\,dx}$,

то ${\displaystyle p_{X\mid Y}}$ называется условной плотностью ${\displaystyle X}$ при условии ${\displaystyle Y=y}$^[2].

Если выбрана регулярная версия условного распределения, то условное математическое ожидание выражается через неё формулой

${\displaystyle \mathbb {E} [X\mid {\mathcal {G}}](\omega )=\int \limits _{\mathbb {R} }x\,\mathbb {P} (X\in dx\mid {\mathcal {G}})(\omega )}$^[2].

Пусть ${\displaystyle Y}$ — дискретная случайная величина, чьё распределение задаётся функцией вероятности ${\displaystyle \mathbb {P} (Y=y_{j})\equiv p_{Y}(y_{j})=p_{j}>0,\;j=1,2,\ldots }$^[2]. Тогда система событий ${\displaystyle \{Y=y_{j}\}}$ является разбиением ${\displaystyle \Omega }$, и

${\displaystyle \mathbb {E} [X\mid Y]=\sum \limits _{j=1}^{\infty }\mathbb {E} [X\mid Y=y_{j}]\mathbf {1} _{\{Y=y_{j}\}}}$,

а

${\displaystyle \mathbb {E} [X\mid Y=y_{j}]=\mathbb {E} _{j}[X]}$,

где ${\displaystyle \mathbb {E} _{j}}$ означает математическое ожидание, взятое относительно условной вероятности ${\displaystyle \mathbb {P} _{j}(\cdot )=\mathbb {P} (\cdot \mid Y=y_{j})}$.

Если случайная величина ${\displaystyle X}$ также дискретна, то

${\displaystyle \mathbb {E} [X\mid Y=y_{j}]=\sum \limits _{i=1}^{\infty }x_{i}\,\mathbb {P} (X=x_{i}\mid Y=y_{j})=\sum \limits _{i=1}^{\infty }x_{i}\,p_{X\mid Y}(x_{i}\mid y_{j})}$,

где ${\displaystyle p_{X\mid Y}}$ — условная функция вероятности случайной величины ${\displaystyle X}$ относительно ${\displaystyle Y}$^[2].

Пусть ${\displaystyle X,Y}$ — случайные величины, такие что вектор ${\displaystyle (X,Y)^{\top }}$ абсолютно непрерывен, и его распределение задаётся плотностью вероятности ${\displaystyle f_{X,Y}(x,y)}$. Введём условную плотность ${\displaystyle f_{X\mid Y}}$, положив по определению

${\displaystyle f_{X\mid Y}(x\mid y)={\frac {f_{X,Y}(x,y)}{f_{Y}(y)}}}$ при ${\displaystyle f_{Y}(y)>0}$ и ${\displaystyle f_{X\mid Y}(x\mid y)=0}$ при ${\displaystyle f_{Y}(y)=0}$,

где ${\displaystyle f_{Y}}$ — плотность вероятности случайной величины ${\displaystyle Y}$^[2]. Тогда

${\displaystyle \mathbb {E} [X\mid Y]=h(Y)}$,

где функция ${\displaystyle h}$ имеет вид

${\displaystyle h(y)=\int \limits _{-\infty }^{\infty }x\,f_{X\mid Y}(x\mid y)\,dx}$.

В частности,

${\displaystyle \mathbb {E} [X\mid Y=y]=\int \limits _{-\infty }^{\infty }x\,f_{X\mid Y}(x\mid y)\,dx}$^[2].

Рассмотрим пространство случайных величин с конечным вторым моментом ${\displaystyle L^{2}}$. В нём определены скалярное произведение

${\displaystyle \langle X,Y\rangle \equiv \mathbb {E} [XY],\;\forall X,Y\in L^{2}}$,

и порождённая им норма

${\displaystyle \|X\|={\sqrt {\mathbb {E} \left[X^{2}\right]}},\;\forall X\in L^{2}}$.

Множество всех случайных величин ${\displaystyle L_{\mathcal {G}}^{2}}$ с конечным вторым моментом и измеримых относительно ${\displaystyle {\mathcal {G}}}$, где ${\displaystyle {\mathcal {G}}\subset {\mathcal {F}}}$, является замкнутым подпространством ${\displaystyle L^{2}}$. Тогда оператор ${\displaystyle \Pi _{L_{\mathcal {G}}^{2}}:L^{2}\to L^{2}}$, задаваемый равенством

${\displaystyle \Pi _{L_{\mathcal {G}}^{2}}(X)=\mathbb {E} [X\mid {\mathcal {G}}]}$,

является оператором ортогонального проектирования на ${\displaystyle L_{\mathcal {G}}^{2}}$^[3]. В частности:

• Условное математическое ожидание ${\displaystyle \mathbb {E} [X\mid {\mathcal {G}}]}$ — это наилучшее среднеквадратичное приближение ${\displaystyle X}$ ${\displaystyle {\mathcal {G}}}$-измеримыми случайными величинами:

${\displaystyle \|X-\mathbb {E} [X\mid {\mathcal {G}}]\|=\inf \limits _{Z\in L_{\mathcal {G}}^{2}}\|X-Z\|}$.

• Условное математическое ожидание сохраняет скалярное произведение:

${\displaystyle \langle X,Z\rangle =\langle \mathbb {E} [X\mid {\mathcal {G}}],Z\rangle ,\;\forall Z\in L_{\mathcal {G}}^{2}}$.

• Условное математическое ожидание идемпотентно:

${\displaystyle \Pi _{L_{\mathcal {G}}^{2}}^{2}=\Pi _{L_{\mathcal {G}}^{2}}}$.

Пример 1 (абсолютно непрерывные величины). Пусть ${\displaystyle (X,Y)}$ равномерно распределены на треугольнике ${\displaystyle \{(x,y):0<y<x<1\}}$, то есть имеют плотность

${\displaystyle f_{X,Y}(x,y)=2\cdot \mathbf {1} _{\{0<y<x<1\}}}$.

Тогда плотность ${\displaystyle Y}$ равна ${\displaystyle f_{Y}(y)=2(1-y)}$ при ${\displaystyle 0<y<1}$, а условная плотность

${\displaystyle f_{X\mid Y}(x\mid y)={\frac {1}{1-y}},\quad y<x<1}$,

и

${\displaystyle \mathbb {E} [X\mid Y=y]=\int \limits _{y}^{1}{\frac {x}{1-y}}\,dx={\frac {1+y}{2}}}$^[2]

Пример 2 (гауссовский случай). Пусть ${\displaystyle (X,Y)}$ — гауссовский вектор с ${\displaystyle \mathbb {E} X=m_{1}}$, ${\displaystyle \mathbb {E} Y=m_{2}}$, ${\displaystyle \mathbb {D} X=\sigma _{1}^{2}}$, ${\displaystyle \mathbb {D} Y=\sigma _{2}^{2}}$, ${\displaystyle \rho =\rho (X,Y)}$. Тогда

${\displaystyle \mathbb {E} [X\mid Y=y]=m_{1}+\rho {\frac {\sigma _{1}}{\sigma _{2}}}(y-m_{2})}$,

то есть условное математическое ожидание линейно по ${\displaystyle y}$; соответствующая прямая называется линией регрессии ${\displaystyle X}$ на ${\displaystyle Y}$^[2].

Пример 3 (индикатор). Пусть ${\displaystyle B\in {\mathcal {F}}}$. Тогда ${\displaystyle \mathbb {E} [\mathbf {1} _{B}\mid {\mathcal {G}}]=\mathbb {P} (B\mid {\mathcal {G}})}$ почти наверное. В частности, если ${\displaystyle {\mathcal {G}}=\sigma (Y)}$ для случайной величины ${\displaystyle Y}$, то ${\displaystyle \mathbb {E} [\mathbf {1} _{B}\mid Y]=\mathbb {P} (B\mid Y)}$^[1].