Линейность по параметрам

Модель ${\displaystyle g_{0}(y)=f(x,b)+\varepsilon }$ называется линейной по параметрам ${\displaystyle b}$, если функция регрессии ${\displaystyle f(x,b)}$ обладает свойством:

${\displaystyle \forall j~~{\frac {\partial f}{\partial b_{j}}}=g_{j}(x)}$

где ${\displaystyle g_{0},g_{j}}$ — некоторые (вообще говоря — нелинейные) функции, не содержащие неизвестных параметров

Поскольку вторые и более высокого порядка производные по параметрам равны в этом случае нулю, то разложение функции регрессии в ряд Тейлора по параметрам приводит к следующему линейному представлению:

${\displaystyle f(x,b)=\sum _{j=1}^{k}b_{j}g_{j}(x)+\varepsilon }$

Если обозначить ${\displaystyle z_{0}=g_{0}(y)~,~z_{j}=g_{j}(x)}$, то получаем обычную линейную регрессию относительно новых переменных.

${\displaystyle z_{0}=\sum _{j=1}^{k}b_{j}z_{j}+\varepsilon }$

Многие нелинейные модели можно представить в форме, линейной по параметрам. Соответствующий процесс преобразования модели называется линеаризацией. Для линеаризации может использоваться логарифмирование и иные приёмы. Пусть имеется следующая нелинейная модель (производственная функция Кобба — Дугласа):

${\displaystyle y=AK^{\alpha }L^{\beta }\nu }$

где ${\displaystyle \nu }$ — мультипликативная случайная компонента.

Логарифмируя это выражение, получим линейную по параметрам модель:

${\displaystyle \ln y=\ln A+\alpha \ln K+\beta \ln L+\ln \nu =a+\alpha \ln K+\beta \ln L+\varepsilon }$

Важно отметить, что линеаризуемость модели связана также со способом присоединения случайной компоненты в исходной модели. Например, модель ${\displaystyle y=AK^{\alpha }L^{\beta }+\varepsilon }$ линеаризовать нельзя. Часто случайную ошибку присоединяют специально именно таким образом, чтобы модель можно было линеаризовать.

${\displaystyle y=\sum _{j=0}^{k}b_{j}x^{j}+\varepsilon }$

Полиномиальные модели используются для предварительной аппроксимации данных исходя из известной теоремы о приближении любых функций полиномами.

${\displaystyle \ln y=\sum _{j=1}^{k}b_{j}\ln x_{j}+\varepsilon }$

Это модель с постоянной эластичностью зависимой переменной по факторам.

${\displaystyle {\frac {1}{y}}=\sum _{j=0}^{k}b_{j}{\frac {1}{x_{j}}}+\varepsilon }$