Регрессионный анализ

Наиболее ранние зачатки регрессионного анализа можно найти в трудах Исаака Ньютона около 1700 года при изучении равноденствий. Ему приписывают введение «эмбрионального анализа линейной регрессии»: не только используя усреднение данных за 50 лет до Тобиаса Майера, но и подводя сумму остатков к нулю, он вынуждал прямую регрессии проходить через среднюю точку. Ещё раньше, в работе 1671 года о кольцах Ньютона, он применял усреднение, что было новшеством для того времени^[6][7].

Метод наименьших квадратов был опубликован Лежандром в 1805 году^[8] и независимо Гауссом в 1809^[9]. Оба ученых применяли этот метод для вычисления орбит небесных тел по астрономическим наблюдениям. В 1821 году Гаусс опубликовал дальнейшее развитие теории наименьших квадратов^[10], включая версию теоремы Гаусса — Маркова.

Термин «регрессия» был введён Фрэнсисом Гальтоном в XIX веке для описания биологического явления — возврата роста потомков высоких предков к среднему значению (известно как регрессия к среднему)^[11][12]. Сначала термин «регрессия» имел только биологический смысл^[13][14], однако работы Юдни Юля и Карла Пирсона расширили идею на статистический анализ^[15][16], предполагая нормальное распределение совместного распределения отклика и объясняющих переменных. Это ограничение было ослаблено Р. А. Фишером в работах 1922 и 1925 годов^[17][18][19], который предположил лишь условное распределение отклика по нормальному закону.

В 1950–1960-х годах экономисты для проведения регрессии пользовались электромеханическими калькуляторами, и вычисление одного анализа могло занимать до суток^[20].

Методы регрессии остаются предметом активных исследований: разработаны робастные методы регрессии, работающие с коррелированными откликами, временными рядами, кривыми роста, с изображениями, графами или другими сложными объектами, а также техники для неполных данных, байесовские методы регрессии, регрессия при ошибках измерения, с количеством признаков большим числа наблюдений и для вывода причинности. Современный анализ осуществляется с помощью статистических и табличных программ на компьютерах и калькуляторах.

На практике исследователь вначале выбирает модель для оценки, а затем с помощью выбранного метода (например, метод наименьших квадратов) определяет параметры. Регрессионные модели содержат следующие компоненты:

• Неизвестные параметры — скаляр (или вектор) ${\displaystyle \beta }$.
• Независимые переменные — наблюдаемые данные, часто вектор ${\displaystyle X_{i}}$.
• Зависимая переменная — наблюдаемая, часто скаляр ${\displaystyle Y_{i}}$.
• Ошибки модели — не наблюдаются напрямую, обычно ${\displaystyle e_{i}}$.

В разных сферах терминология для зависимых и независимых переменных может отличаться.

Обычно предполагается, что ${\displaystyle Y_{i}}$ — некоторая функция (регрессионная функция) от ${\displaystyle X_{i}}$ и ${\displaystyle \beta }$ плюс случайная ошибка ${\displaystyle e_{i}}$:

${\displaystyle Y_{i}=f(X_{i},\beta )+e_{i}}$

В стандартной модели независимые переменные ${\displaystyle X_{i}}$ считаются безошибочными. Если ${\displaystyle X_{i}}$ содержат ошибку, используется модель с ошибками в переменных. Варианты моделей существуют и для случаев пропущенных или смешивающих переменных, эндогенности и прочего.

Цель анализа — аппроксимировать функцию ${\displaystyle f(X_{i},\beta )}$, максимально близкую к наблюдаемым данным. Обычно форма функции выбирается исходя из предметной области или удобных допущений: например, простая регрессия ${\displaystyle f(X_{i},\beta )=\beta _{0}+\beta _{1}X_{i}}$ предполагает модель ${\displaystyle Y_{i}=\beta _{0}+\beta _{1}X_{i}+e_{i}}$.

После выбора статистической модели параметры ${\displaystyle \beta }$ оцениваются разными методами. Метод наименьших квадратов минимизирует сумму квадратов ошибок ${\displaystyle \sum _{i}(Y_{i}-f(X_{i},\beta ))^{2}}$ и выдаёт оценку ${\displaystyle {\hat {\beta }}}$. Эта оценка позволяет получить прогноз ${\displaystyle {\hat {Y_{i}}}=f(X_{i},{\hat {\beta }})}$ или анализировать объяснённую моделью вариацию. В линейной регрессии найденная функция приближает условное математическое ожидание ${\displaystyle E(Y_{i}|X_{i})}$^[9]. Альтернативные методы (например, квантильная регрессия) могут использовать другие критерии.

Для оценки регрессионной модели данных должны быть достаточно: при ${\displaystyle N}$ строках и ${\displaystyle k}$ параметрах необходимо ${\displaystyle N\geq k}$ независимых наблюдений. Если ${\displaystyle N<k}$, существует бесконечно много решений, а если ${\displaystyle N>k}$, — их нет, которые бы идеально подошли под данные. Задачу можно записать в виде системы уравнений; число ${\displaystyle N-k}$ называется степенями свободы модели. Также независимые переменные должны быть линейно независимы, чтобы существовало единственное решение ${\displaystyle {\hat {\beta }}}$.

Чтобы трактовать регрессию как статистическую модель, часто используются классические статистические предположения:

• Выборка репрезентативна для всей совокупности.
• Независимые переменные измерены без ошибки.
• Ожидаемое значение ошибки при заданных значениях объясняющих переменных равно нулю: ${\displaystyle E(e_{i}|X_{i})=0}$.
• Дисперсия ошибок идентична во всех наблюдениях.
• Ошибки не коррелированы между собой (ковариационная матрица диагональна).

При некоторых условиях оценки методом наименьших квадратов являются несмещёнными, состоятельными и эффективными (теорема Гаусса — Маркова). Для учета нарушений классических предположений разработаны подходы: моделирование ошибок в переменных; устойчивые к гетероскедастичности стандартные ошибки; коррелированные ошибки — с помощью кластерных или стандартных ошибок Ньюи — Уэста. В геостатистике способ задания ошибок по пространственным единицам существенно влияет на результаты анализа^[21][22]. В эконометрике существует множество методов исправления нарушений предположений на практике.

В линейной регрессии спецификация модели заключается в том, что зависимая переменная ${\displaystyle y_{i}}$ выражается линейной комбинацией параметров (но не обязательно линейной по независимым переменным). Например, для простой линейной регрессии:

${\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i},\quad i=1,\dots ,n.}$

В случае нескольких независимых переменных (или их функций) используется множественная регрессия. Рассмотрим добавление квадратичного члена:

${\displaystyle y_{i}=\beta _{0}+\beta _{1}x_{i}+\beta _{2}x_{i}^{2}+\varepsilon _{i}.}$

Это всё ещё линейная регрессия относительно параметров ${\displaystyle \beta }$.

В обоих случаях ${\displaystyle \varepsilon _{i}}$ — ошибка, ${\displaystyle i}$ — наблюдение.

Если взять случайную выборку, то оценки параметров дают модель:

${\displaystyle {\widehat {y}}_{i}={\widehat {\beta }}_{0}+{\widehat {\beta }}_{1}x_{i}.}$

Остаток ${\displaystyle e_{i}=y_{i}-{\widehat {y}}_{i}}$ — разница между прогнозируемым и истинным значением. Классический способ оценивания — метод наименьших квадратов, минимизирующий сумму квадратов остатков (SSR):

${\displaystyle SSR=\sum _{i=1}^{n}e_{i}^{2}}$

Минимизация SSR приводит к нормальным уравнениям, из которых можно выражать параметры ${\displaystyle {\widehat {\beta }}_{0},{\widehat {\beta }}_{1}}$.

Для простой линейной регрессии оценки:

${\displaystyle {\widehat {\beta }}_{1}={\frac {\sum (x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum (x_{i}-{\bar {x}})^{2}}}}$

${\displaystyle {\widehat {\beta }}_{0}={\bar {y}}-{\widehat {\beta }}_{1}{\bar {x}}}$

где ${\displaystyle {\bar {x}}}$ и ${\displaystyle {\bar {y}}}$ — средние значения соответственно ${\displaystyle x}$ и ${\displaystyle y}$.

Если вариация ошибок постоянна, её оценка:

${\displaystyle {\hat {\sigma }}_{\varepsilon }^{2}={\frac {SSR}{n-2}}}$

Это среднеквадратичная ошибка модели. Размер знаменателя зависит от числа параметров: для одного признака ${\displaystyle n-2}$^[23].

Стандартные ошибки для оценок:

${\displaystyle {\hat {\sigma }}_{\beta _{1}}={\hat {\sigma }}_{\varepsilon }{\sqrt {\frac {1}{\sum (x_{i}-{\bar {x}})^{2}}}}}$

${\displaystyle {\hat {\sigma }}_{\beta _{0}}={\hat {\sigma }}_{\varepsilon }{\sqrt {{\frac {1}{n}}+{\frac {{\bar {x}}^{2}}{\sum (x_{i}-{\bar {x}})^{2}}}}}}$

Если ошибки распределены нормально, по этим оценкам строятся доверительные интервалы и проводятся тесты о параметрах.

В более общей множественной регрессии с ${\displaystyle p}$ независимыми переменными:

${\displaystyle y_{i}=\beta _{1}x_{i1}+\beta _{2}x_{i2}+\cdots +\beta _{p}x_{ip}+\varepsilon _{i}}$

Если ${\displaystyle x_{i1}=1}$ для всех ${\displaystyle i}$, ${\displaystyle \beta _{1}}$ — свободный член (перехват).

Параметры находятся решением ${\displaystyle p}$ нормальных уравнений; остаток:

${\displaystyle \varepsilon _{i}=y_{i}-{\hat {\beta }}_{1}x_{i1}-\ldots -{\hat {\beta }}_{p}x_{ip}}$

В матричной форме:

${\displaystyle \mathbf {(X^{\top }X){\hat {\boldsymbol {\beta }}}={}X^{\top }Y} }$

Решение:

${\displaystyle \mathbf {{\hat {\boldsymbol {\beta }}}=(X^{\top }X)^{-1}X^{\top }Y} }$

После построения модели важно проверить качество аппроксимации и значимость оценённых параметров: это R-квадрат, анализ распределения остатков, тесты гипотез. Обычно используется F-критерий для всей модели и t-критерий для отдельных параметров.

Интерпретация результатов диагностик зависит от предположений модели. При больших отклонениях, например, если ошибки не нормальны, анализ усложняется. При больших выборках применим центральная предельная теорема.

Ограниченные зависимые переменные (категориальные или с ограниченным диапазоном) часто встречаются в эконометрике. Если зависимая переменная бинарна, а анализ проводится с помощью линейной регрессии, говорят о линейной вероятностной модели. Нелинейные аналоги — пробит-модель, логит-модель, для многомерного случая — многомерная пробит-модель. Для нескольких категорий используются мультиномиальная логит-модель, для порядковых — упорядоченная логит-модель, упорядоченная пробит-модель. Цензурированная регрессия применяется, если зависимая регистрируется только иногда, а корректировка Хекмана — при нерепрезентативной выборке.

Альтернатива — линейная регрессия на полихорических и полисерийных коэффициентах. В случае положительных счетных данных — пуассоновская регрессия, негативно-биномиальная модель.

Нелинейная регрессия применяется, если модель не линейна по параметрам. Минимизация суммы квадратов требует итерационных вычислений, что приводит к целому ряду дополнительных сложностей.

Регрессионные модели позволяют предсказывать значения переменной ${\displaystyle Y}$ при известных значениях ${\displaystyle X}$. Предсказание внутри диапазона исходных данных называют интерполяцией, вне — экстраполяцией. Экстраполяция требует строгого соблюдения предположений модели: чем дальше прогноз выходит за пределы исходных данных, тем менее надежным он становится.

К точечному прогнозу часто добавляют интервал прогнозирования, который быстро расширяется при выходе за пределы исходных данных.

Поэтому многие исследователи не рекомендуют строить экстраполяции^[25].

Совпадение формы регрессионной зависимости с реальностью — ещё один источник неопределённости. Даже при хорошем аппроксимировании имеющихся данных экстраполяция сильно зависит от предположенной структуры. Если известно, что зависимая переменная, например, не может принимать значения выше определённого предела, это учитывают при выборе формы модели. Такой подход позволяет сделать экстраполяцию «реалистичной».

Нет универсальных правил для числа наблюдений относительно количества независимых переменных модели. Одна из простых эвристик — ${\displaystyle N=m^{n}}$, где ${\displaystyle N}$ — объём выборки, ${\displaystyle n}$ — количество независимых, ${\displaystyle m}$ — необходимое число наблюдений для одной переменной^[26]. Например, чтобы построить линейную регрессию на 1000 пациентов и с 5 наблюдениями на переменную, максимальное число независимых ${\displaystyle n}$ приближённо равно 4, так как

${\displaystyle {\frac {\log 1000}{\log 5}}\approx 4{,}29}$.

Помимо метода наименьших квадратов, параметры моделей могут оцениваться и другими способами:

• Байесовские методы — например, байесовская линейная регрессия.
• Проценты ошибок (процентная регрессия) — применяется, когда критична минимизация процентных, а не абсолютных ошибок^[27].
• Метод наименьших модулей — надёжен при выбросах, приводит к квантильной регрессии.
• Непараметрическая регрессия — требует большого количества наблюдений; ресурсоёмка.
• Сценарная оптимизация — приводит к моделям, выдающим интервальные прогнозы.

Все основные статистические пакеты выполняют регрессионный анализ и статистические тесты на его основе. Простая линейная регрессия и множественная оценка по методу наименьших квадратов доступна даже в табличных процессорах и калькуляторах. Для нелинейных и робастных методов широкой унификации нет: разное ПО реализует разные алгоритмы, иногда отличающиеся даже при одном названии. Существуют специализированные программы для регрессии в областях обследований и нейровизуализации.