Ядерная регрессия

Ядерная регрессия (англ. kernel regression) — непараметрический статистический метод, позволяющий оценить условное математическое ожидание случайной величины. Его смысл заключается в поиске нелинейного отношения между парой случайных величин X и Y.

В любой непараметрической регрессии условное матожидание величины $Y$ относительно величины $X$ можно записать так:

$\operatorname {E} (Y|X)=m(X)$

где $m$ — некая неизвестная функция.

Надарая и Уотсон одновременно (в 1964 году) предложили оценивать $m$ как локально взвешенное среднее, где веса определялись бы ядром^[1]^[2]^[3]. Оценка Надарая — Уотсона:

${\widehat {m}}_{h}(x)={\frac {\sum _{i=1}^{n}K_{h}(x-x_{i})y_{i}}{\sum _{i=1}^{n}K_{h}(x-x_{i})}}$

где $K$ — ядро с шириной окна $h$ . Знаменатель представляет собой весовой член с единичной суммой.

Получение

$\operatorname {E} (Y|X=x)=\int yf(y|x)dy=\int y{\frac {f(x,y)}{f(x)}}dy$

Находя ядерную оценку плотности для совместного распределения f(x,y) и распределения f(x) с ядром K,

${\hat {f}}(x,y)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)K_{h}\left(y-y_{i}\right)$ ,
${\hat {f}}(x)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)$ ,

получаем

$\operatorname {\hat {E}} (Y|X=x)=\int {\frac {y\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)K_{h}\left(y-y_{i}\right)}{\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)}}dy,$

$\operatorname {\hat {E}} (Y|X=x)={\frac {\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)\int y\,K_{h}\left(y-y_{i}\right)dy}{\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)}},$

$\operatorname {\hat {E}} (Y|X=x)={\frac {\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)y_{i}}{\sum _{i=1}^{n}K_{h}\left(x-x_{i}\right)}},$

это и есть оценка Надарая — Уотсона.

${\widehat {m}}_{PC}(x)=h^{-1}\sum _{i=1}^{n}(x_{i}-x_{i-1})K\left({\frac {x-x_{i}}{h}}\right)y_{i}$

${\widehat {m}}_{GM}(x)=h^{-1}\sum _{i=1}^{n}\left[\int _{s_{i-1}}^{s_{i}}K\left({\frac {x-u}{h}}\right)du\right]y_{i}$

где $s_{i}={\frac {x_{i-1}+x_{i}}{2}}$

MATLAB: свободно распространяемый инструментарий для ядерных регрессий, оценок плотности и проч. доступны по ссылке (является приложением к книге^[4]).
Stata: kernreg2
R: функция npreg в пакете np способна построить ядерную регрессию^[5]^[6].
Python: пакет kernel_regression (расширение sklearn).
GNU Octave: математический программный пакет.

↑ Nadaraya, E. A. On Estimating Regression (англ.) // Theory of Probability and Its Applications : journal. — 1964. — Vol. 9, no. 1. — P. 141—142. — doi:10.1137/1109020.
↑ Watson, G. S. Smooth regression analysis (неопр.) // Sankhyā: The Indian Journal of Statistics, Series A. — 1964. — Т. 26, № 4. — С. 359—372. — JSTOR 25049340.
↑ Bierens, Herman J. The Nadaraya–Watson kernel regression function estimator // Topics in Advanced Econometrics (неопр.). — New York: Cambridge University Press, 1994. — С. 212—247. — ISBN 0-521-41900-X.
↑ Horová, I.; Koláček, J.; Zelinka, J. Kernel Smoothing in MATLAB: Theory and Practice of Kernel Smoothing (англ.). — Singapore: World Scientific Publishing, 2012. — ISBN 978-981-4405-48-5.
↑ np: Nonparametric kernel smoothing methods for mixed data types
↑ Kloke, John; McKean, Joseph W. Nonparametric Statistical Methods Using R (англ.). — CRC Press, 2014. — P. 98—106. — ISBN 978-1-4398-7343-4.

Henderson, Daniel J.; Parmeter, Christopher F. Applied Nonparametric Econometrics (неопр.). — Cambridge University Press, 2015. — ISBN 978-1-107-01025-3.
Li, Qi; Racine, Jeffrey S. Nonparametric Econometrics: Theory and Practice (англ.). — Princeton University Press, 2007. — ISBN 0-691-12161-3.
Pagan, A.; Ullah, A. Nonparametric Econometrics (неопр.). — Cambridge University Press, 1999. — ISBN 0-521-35564-8.
Simonoff, Jeffrey S. Smoothing Methods in Statistics (неопр.). — Springer, 1996. — ISBN 0-387-94716-7.

Scale-adaptive kernel regression (with Matlab software).
Tutorial of Kernel regression using spreadsheet (with Microsoft Excel).
An online kernel regression demonstration Requires .NET 3.0 or later.
Kernel regression with automatic bandwidth selection (with Python)

[1] Nadaraya, E. A. On Estimating Regression (англ.) // Theory of Probability and Its Applications : journal. — 1964. — Vol. 9, no. 1. — P. 141—142. — doi:10.1137/1109020.

[2] Watson, G. S. Smooth regression analysis (неопр.) // Sankhyā: The Indian Journal of Statistics, Series A. — 1964. — Т. 26, № 4. — С. 359—372. — JSTOR 25049340.

[3] Bierens, Herman J. The Nadaraya–Watson kernel regression function estimator // Topics in Advanced Econometrics (неопр.). — New York: Cambridge University Press, 1994. — С. 212—247. — ISBN 0-521-41900-X.

[HorKolZel-4] Horová, I.; Koláček, J.; Zelinka, J. Kernel Smoothing in MATLAB: Theory and Practice of Kernel Smoothing (англ.). — Singapore: World Scientific Publishing, 2012. — ISBN 978-981-4405-48-5.

[5] : Nonparametric kernel smoothing methods for mixed data types

[6] Kloke, John; McKean, Joseph W. Nonparametric Statistical Methods Using R (англ.). — CRC Press, 2014. — P. 98—106. — ISBN 978-1-4398-7343-4.

[1]

[2]

[3]

[4]

[5]

[6]

Ядерная регрессия

Ядерная регрессия Надарая — Уотсона

Получение

Ядерная оценка Пристли — Чжао

Ядерная оценка Гассера — Мюллера

В статистических пакетах

Примечания

Литература

Ссылки

Категории