Полигон частот

В основе математической статистики лежит понятие случайной величины — величины, значение которой определяется исходом случайного эксперимента^[1]. Случайные величины бывают дискретными (принимающими отдельные изолированные значения, например число дефектных деталей в партии) и непрерывными (способными принимать любое значение из некоторого промежутка, например рост человека или температура воздуха).

Поведение случайной величины полностью описывается её функцией распределения:

$${\displaystyle F(x)=P(X\leqslant x),}$$

${\displaystyle X}$

${\displaystyle x}$

Функция распределения определена для любой случайной величины — как дискретной, так и непрерывной. Она является неубывающей, непрерывной справа и удовлетворяет условиям ${\displaystyle F(-\infty )=0}$ и ${\displaystyle F(+\infty )=1}$^[2].

Для непрерывных случайных величин существует более удобная характеристика — плотность вероятности ${\displaystyle f(x)}$. Она определяется как производная функции распределения:

$${\displaystyle f(x)=F'(x).}$$

Плотность вероятности показывает, насколько «густо» сосредоточены значения случайной величины в окрестности данной точки. Чем выше значение ${\displaystyle f(x)}$, тем чаще случайная величина принимает значения вблизи ${\displaystyle x}$.

Вероятность попадания случайной величины в интервал от ${\displaystyle a}$ до ${\displaystyle b}$ равна площади под кривой плотности на этом интервале:

$${\displaystyle P(a\leqslant X\leqslant b)=\int _{a}^{b}f(x),dx.}$$

Полная площадь под кривой плотности всегда равна единице:

$${\displaystyle \int _{-\infty }^{+\infty }f(x),dx=1.}$$

Это означает, что случайная величина с вероятностью 1 примет какое-либо значение. Важно подчеркнуть: для непрерывной случайной величины вероятность принять какое-то одно точное значение всегда равна нулю; осмысленна лишь вероятность попадания в интервал.

Понятие плотности вероятности является центральным для понимания полигона в математической статистике, поскольку именно плотность (а не частота) является тем теоретическим объектом, который полигон призван оценивать.

На верхнем графике (Плотность вероятности, f(x))

Синяя кривая f(x) — это и есть плотность вероятности. Её форма показывает, где значения «гуще» всего. Пик кривой находится на среднем значении (здесь это 0), что означает, что значения вблизи нуля наиболее вероятны.

Высота кривой — чем выше кривая в точке x, тем «плотнее» значения случайной величины в окрестности этой точки.

Закрашенная голубая область — это визуализация интеграла ${\displaystyle \int _{a}^{b}f(x)dx}$. Площадь этой фигуры — это в точности вероятность того, что случайная величина X примет значение из интервала [0.5, 1.8]. Как видно из подписи, эта вероятность ≈ 0.272.

f(x) = F'(x) — эта надпись напоминает, что высота этой кривой в любой точке x равна наклону (производной) нижней кривой в той же точке x.

На нижнем графике (Функция распределения, F(x))

Зелёная кривая F(x) — это функция распределения. Она показывает накопленную вероятность, то есть F(x) = P(X ≤ x). Она всегда возрастает от 0 до 1.

Вероятность через разность: график наглядно демонстрирует, что вероятность попадания в интервал [a, b] можно найти и без интегрирования. Это просто разность значений функции распределения на концах интервала: P(a ≤ X ≤ b) = F(b) — F(a).

Фиолетовая стрелка на оси Y показывает эту разность. Её длина (≈ 0.272) в точности равна площади закрашенной фигуры на верхнем графике.

Генеральная совокупность — это полное (как правило, бесконечное или очень большое) множество всех возможных значений изучаемого признака (например, рост всех взрослых мужчин на планете). Распределение признака в генеральной совокупности описывается теоретической плотностью ${\displaystyle f(x)}$, которая, как правило, неизвестна.

Выборка — это конечная совокупность наблюдений ${\displaystyle x_{1},x_{2},\ldots ,x_{n}}$, извлечённых из генеральной совокупности. Задача математической статистики состоит в том, чтобы по данным выборки сделать выводы о свойствах генеральной совокупности — в частности, оценить неизвестную плотность ${\displaystyle f(x)}$^[3]. Полигон частот является одним из простейших непараметрических методов такого оценивания: он не предполагает, что ${\displaystyle f(x)}$ принадлежит какому-либо конкретному семейству распределений (нормальному, показательному и т. д.), а строит оценку непосредственно по данным^[4].

Для построения полигона данные выборки необходимо предварительно упорядочить и сгруппировать. Вариационный ряд — это последовательность значений выборки, расположенных в порядке возрастания. Если признак принимает отдельные, изолированные значения, получается дискретный вариационный ряд; если значения группируются в интервалы — интервальный.

При группировке данных в интервалы возникают три ключевых понятия.

Абсолютная частота ${\displaystyle n_{i}}$ — число наблюдений, попавших в ${\displaystyle i}$-й интервал. Относительная частота ${\displaystyle w_{i}=n_{i}/n}$ — доля наблюдений в ${\displaystyle i}$-м интервале. Плотность частоты ${\displaystyle {\hat {f}}(x_{i})={\frac {n_{i}}{n\cdot h}}}$ — число наблюдений, приходящихся на единицу длины оси в ${\displaystyle i}$-м интервале, где ${\displaystyle h}$ — ширина интервала.

Именно плотность частоты, а не абсолютная или относительная частота, является корректной эмпирической оценкой теоретической плотности вероятности ${\displaystyle f(x)}$.

Выбор числа интервалов ${\displaystyle k}$ (или их ширины ${\displaystyle h}$) существенно влияет на форму гистограммы и полигона. Наиболее известные следующие правила.

Формула Стёрджеса: ${\displaystyle k=1+3.322\cdot \lg n}$. Оптимальна для симметричных, унимодальных распределений, близких к нормальному^[5].

Правило Скотта: ширина интервала ${\displaystyle h=3.49\cdot s\cdot n^{-1/3}}$, где ${\displaystyle s}$ — выборочное стандартное отклонение. Минимизирует среднеинтегральную квадратическую ошибку (MISE) гистограммы при допущении о нормальности данных^[6]. Правило Скотта смотрит на всех людей на фото и вычисляет их «средний рост» (среднее значение) и «средний разброс в росте» (стандартное отклонение). На основе этого «среднего разброса» оно вычисляет оптимальную ширину столбиков, предполагая, что группа людей выглядит как «стандартная» толпа: большинство людей среднего роста, и лишь немногие — очень высокие или очень низкие. Правило Скотта стремится найти такую ширину интервала, которая минимизирует ожидаемую ошибку между построенной гистограммой и истинной кривой плотности вероятности, при условии, что эта кривая — нормальное распределение.

Правило Фридмана — Диакониса: ${\displaystyle h=2\cdot \mathrm {IQR} \cdot n^{-1/3}}$, где IQR — межквартильный размах. Более устойчиво к выбросам и отклонениям от нормальности, чем правило Скотта^[7]. Это правило не смотрит на весь разброс данных от самого маленького до самого большого значения, потому что одно-единственное аномальное число (например, доход миллиардера в опросе о зарплатах) может всё испортить. Вместо этого оно сначала отбрасывает 25 % самых маленьких и 25 % самых больших значений, а затем измеряет разброс только у оставшейся, центральной половины данных. Тем самым убираются случайные выбросы. Чем больше данных, тем больше деталей. Правило понимает, что если имеется всего 10 измерений, то пытаться разглядеть мелкие детали бессмысленно. А если у имеется 10 000 измерений, то можно и нужно показывать более подробную картину. Поэтому оно автоматически делает столбики гистограммы (и, соответственно, отрезки полигона) тем короче, чем больше у вас данных. В итоге, правило Фридмана-Диакониса работает как умный автофокус: оно наводится на «суть» данных, игнорируя мешающие выбросы, и подбирает такой уровень детализации, который соответствует количеству информации. Это позволяет получить честный и информативный график, который не обманывает зрителя ни излишним сглаживанием, ни случайным шумом.

Полигон абсолютных частот — ломаная линия, вершинами которой служат точки с координатами ${\displaystyle (x_{i},;n_{i})}$, где ${\displaystyle x_{i}}$ — значение признака (для дискретного ряда) или середина ${\displaystyle i}$-го интервала (для интервального ряда), а ${\displaystyle n_{i}}$ — абсолютная частота. Середина ${\displaystyle i}$-го интервала вычисляется по формуле:

$${\displaystyle {\bar {x}}_{i}={\frac {x_{i}^{({\text{н}})}+x_{i}^{({\text{в}})}}{2}},}$$

где ${\displaystyle x_{i}^{({\text{н}})}}$ и ${\displaystyle x_{i}^{({\text{в}})}}$ — нижняя и верхняя границы интервала. Для замыкания полигона добавляются две точки с нулевой частотой: слева — на расстоянии одного шага ${\displaystyle h}$ от первой середины, справа — на расстоянии одного шага от последней. Замыкание обеспечивает равенство площади под полигоном и площади соответствующей гистограммы.

Полигон относительных частот строится аналогично, но по оси ординат откладываются относительные частоты ${\displaystyle w_{i}=n_{i}/n}$. Такой полигон особенно удобен при сравнении двух и более выборок разного объёма, поскольку приводит данные к единому масштабу. Как отмечал Б. Л. ван дер Варден, использование относительных частот является необходимым условием корректного сравнительного анализа эмпирических распределений^[8].

Полигон плотности — ломаная линия, вершинами которой служат точки ${\displaystyle ({\bar {x}}_{i},;{\hat {f}}({\bar {x}}_{i}))}$, где:

$${\displaystyle {\hat {f}}({\bar {x}}_{i})={\frac {n_{i}}{n\cdot h}}={\frac {w_{i}}{h}}.}$$

Именно полигон плотности, а не полигон частот, является корректной непараметрической оценкой теоретической плотности вероятности ${\displaystyle f(x)}$. Принципиальное отличие от полигона относительных частот состоит в делении на ширину интервала ${\displaystyle h}$: это устраняет зависимость высоты графика от произвольного выбора ширины интервала и позволяет сравнивать полигоны, построенные с разным шагом группировки^[9]

Для дискретного вариационного ряда полигон строится следующим образом. Составляется таблица значений признака ${\displaystyle x_{1},x_{2},\ldots ,x_{k}}$ и соответствующих частот ${\displaystyle n_{1},n_{2},\ldots ,n_{k}}$. Выбирается масштаб осей координат. На координатной плоскости отмечаются точки ${\displaystyle (x_{i},;n_{i})}$. Точки последовательно соединяются отрезками прямых. Для замыкания крайние точки соединяются с осью абсцисс через точки ${\displaystyle (x_{1}-\Delta x,;0)}$ и ${\displaystyle (x_{k}+\Delta x,;0)}$, где ${\displaystyle \Delta x}$ — шаг между соседними значениями.

Для интервального ряда алгоритм аналогичен, но в качестве абсцисс используются середины интервалов. Определяются границы интервалов и вычисляются их середины ${\displaystyle {\bar {x}}_{i}}$. Определяются частоты (абсолютные, относительные или плотности) каждого интервала. На оси ${\displaystyle X}$ откладываются середины интервалов, на оси ${\displaystyle Y}$ — соответствующие значения. Точки соединяются отрезками. Полигон замыкается добавлением нулевых точек слева и справа. Использование середин интервалов основано на допущении о равномерном распределении наблюдений внутри каждого интервала. При существенной неравномерности это допущение может приводить к искажению формы полигона.

Гистограмма — графическое изображение интервального ряда распределения в виде смежных прямоугольников, основаниями которых служат интервалы группировки, а высоты пропорциональны частотам (или плотностям частот). Термин «гистограмма» был введён Карлом Пирсоном в 1895 году. Полигон и гистограмма связаны простым геометрическим соотношением: полигон получается путём соединения отрезками прямых середин верхних оснований столбцов гистограммы. Это соотношение, впервые чётко сформулированное Пирсоном, означает, что оба графика несут одну и ту же информацию, но представляют её в разной форме. При замыкании полигона (добавлении нулевых точек по краям) площадь фигуры, ограниченной полигоном и осью абсцисс, равна площади гистограммы. Это следует из того, что треугольники, «срезаемые» полигоном с верхушек столбцов, в точности равны треугольникам, «добавляемым» полигоном в промежутках между столбцами. Сравнительная характеристика:

Характеристика	Гистограмма	Полигон
Тип графика	Ступенчатый (столбчатый)	Линейный (ломаная линия)
Непрерывность	Разрывная функция	Непрерывная функция
Применимость	Интервальные данные	Дискретные и интервальные данные
Сравнение нескольких рядов	Затруднительно (столбцы перекрываются)	Удобно (линии разного цвета/типа)
Скорость сходимости	${\displaystyle O(n^{-2/3})}$	${\displaystyle O(n^{-4/5})}$ (эффективнее)

Последняя строка таблицы отражает результат Дэвида Скотта: по критерию MISE полигон плотности сходится к истинной плотности быстрее, чем гистограмма. Это связано с тем, что кусочно-линейная интерполяция (полигон) точнее приближает гладкую кривую, чем ступенчатая функция (гистограмма)^[10].

Полигон предпочтительнее гистограммы в следующих случаях:

• необходимо сравнить несколько распределений на одном графике;
• требуется визуально оценить гладкость и форму распределения;
• данные представляют собой дискретный ряд.

Гистограмма предпочтительнее в случаях, когда важна наглядность «массы» данных в каждом интервале.

Главное теоретическое положение, связывающее полигон с плотностью вероятности, состоит в следующем: при неограниченном увеличении числа наблюдений ${\displaystyle n\to \infty }$ и одновременном стремлении ширины интервалов к нулю ${\displaystyle h\to 0}$ полигон плотности сходится к теоретической кривой плотности вероятности:

$${\displaystyle \lim _{n\to \infty ,;h\to 0}{\hat {f}}(x)=f(x).}$$

Сходимость полигона к плотности тесно связана с фундаментальной теоремой Гливенко—Кантелли (1933), согласно которой эмпирическая функция распределения ${\displaystyle F_{n}(x)}$ сходится к теоретической функции распределения ${\displaystyle F(x)}$ равномерно и с вероятностью единица:

$${\displaystyle \sup _{x}|F_{n}(x)-F(x)|{\xrightarrow {n\to \infty }}0\quad {\text{п.н.}}}$$

Поскольку плотность вероятности является производной функции распределения (${\displaystyle f(x)=F'(x)}$), сходимость эмпирической функции распределения влечёт (при определённых условиях гладкости) сходимость и её «производной» — эмпирической оценки плотности, в том числе полигона.

Точность оценки плотности зависит от соотношения между объёмом выборки ${\displaystyle n}$ и шириной интервала ${\displaystyle h}$. При слишком большом ${\displaystyle h}$ оценка «сглаживает» реальные особенности распределения (смещение); при слишком малом ${\displaystyle h}$ оценка «шумит», отражая случайные колебания выборки (дисперсия). Оптимальный выбор ${\displaystyle h}$ минимизирует суммарную ошибку — среднеинтегральную квадратическую ошибку (MISE):

$${\displaystyle \mathrm {MISE} =E\int [{\hat {f}}(x)-f(x)]^{2},dx.}$$

Для полигона плотности Дэвид Скотт показал, что оптимальная ширина интервала имеет порядок ${\displaystyle h\sim n^{-1/5}}$, а соответствующая скорость сходимости MISE составляет ${\displaystyle O(n^{-4/5})}$, что быстрее, чем ${\displaystyle O(n^{-2/3})}$ для гистограммы^[10].

Мода — значение признака, которому соответствует наибольшая частота (вершина полигона).

• одномодальный (унимодальный) полигон имеет одну вершину. Характерен для однородных совокупностей.
• бимодальный полигон имеет две вершины. Как отмечал Джон Тьюки, бимодальность нередко указывает на то, что выборка состоит из двух неоднородных подсовокупностей с различными характеристиками^[11].
• мультимодальный полигон (три и более вершин) может свидетельствовать о сложной структуре совокупности или о неудачном выборе числа интервалов.

Если полигон симметричен относительно вертикальной оси, проходящей через вершину, это свидетельствует о симметричном распределении (среднее, медиана и мода совпадают). Правосторонняя (положительная) асимметрия — «хвост» полигона вытянут вправо. Характерна, например, для распределения доходов населения. Левосторонняя (отрицательная) асимметрия — «хвост» вытянут влево.

Визуальная оценка асимметрии по полигону даёт предварительное представление о знаке и величине коэффициента асимметрии:

$${\displaystyle \gamma _{1}={\frac {\mu _{3}}{\mu _{2}^{3/2}}},}$$

где ${\displaystyle \mu _{3}}$ — третий, а ${\displaystyle \mu _{2}}$ — второй центральные моменты.

Эксцесс характеризует «остроту» вершины полигона и «тяжесть» его хвостов по сравнению с нормальным распределением. Положительный эксцесс (лептокуртическое распределение) — полигон более островершинный, чем нормальный, с более тяжёлыми хвостами. Отрицательный эксцесс (платикуртическое распределение) — полигон более плосковершинный.

Коэффициент эксцесса:

$${\displaystyle \gamma _{2}={\frac {\mu _{4}}{\mu _{2}^{2}}}-3.}$$

Для нормального распределения ${\displaystyle \gamma _{2}=0}$.

Для полигона плотности площадь под кривой приближённо равна единице (точно — при бесконечном числе наблюдений):

$${\displaystyle \sum _{i=1}^{k}{\hat {f}}({\bar {x}}_{i})\cdot h\approx 1.}$$

Для полигона абсолютных частот площадь пропорциональна объёму выборки ${\displaystyle n}$. При замыкании полигона площадь под ним равна площади соответствующей гистограммы.