Выборка исследования

Практические методы оценки характеристик генеральной совокупности по её части (например, при налоговых расчётах, военных ревизиях и оценке урожая) исторически предшествовали развитию формальной математической теории выборочного метода. В статистике XIX века достоверность данных традиционно отождествлялась исключительно со сплошным учётом (переписью), в связи с чем математическое обоснование репрезентативной выборки из конечной совокупности долгое время не получало научного признания.

В 1895 году директор Центрального статистического бюро Норвегии А. Н. Киэр на сессии Международного статистического института (МСИ) обосновал концепцию «представительного метода», согласно которой выборка должна представлять собой уменьшенную модель генеральной совокупности. Киэр последовательно защищал данный подход на сессиях МСИ в 1897, 1901 и 1903 годах, преодолевая сопротивление сторонников исключительно сплошных обследований^[2]. К 1925 году МСИ фактически признал представительный метод; в докладах А. Боули и А. Йенсена фокус исследований сместился на вопросы обеспечения репрезентативности и оценки точности результатов.

Математические основы стратифицированного отбора были ранее разработаны А. А. Чупровым (Metron, 1923)^[3]. В своём фундаментальном докладе 1934 года в Королевском статистическом обществе Е. Нейман противопоставил случайный стратифицированный отбор целенаправленному (применявшемуся, в частности, Джини и Гальвани при анализе данных итальянской переписи), ввёл понятие доверительных интервалов для конечной совокупности и обосновал оптимальное размещение объёма выборки по стратам^[4]. Впоследствии Неймана критиковали за недостаточное цитирование работ Чупрова, однако в современной науке независимость их исследований признаётся общепризнанным фактом.

Публичное признание «научного» отбора произошло после провала масштабного опроса журнала The Literary Digest в 1936 году и одновременного успеха небольших, но методологически выверенных опросов, проведённых Гэллапом, Кроссли и Роупером. В конце 1930-х — 1940-х годах Бюро переписи населения США внедрило выборочный метод в десятилетнюю перепись населения (путём включения дополнительных вопросов в часть анкет) и в регулярные обследования уровня безработицы. Теоретические основы практики были кодифицированы в трудах Хансена, Хервица и Мэдоу (1953), Хорвица и Томпсона (1952), Киша (1965) и Кокрена (Sampling Techniques, русский перевод 1976 г.)^[5][6][7]. Параллельно в Индии П. В. Сукхатме и В. Г. Пансе разработали методологию выборочного контроля урожайности (crop-cutting).

Со второй половины XX века внимание исследователей сместилось с анализа исключительно выборочной дисперсии на учёт невыборочных ошибок и концепцию общей ошибки обследования (Total Survey Error), развиваемую Демингом, Хансеном, Андерсоном, Каспером и Франкелом (1979), а также Гровсом и Либергом. Параллельно сформировались подходы модельно-вспомогательного (Сарндал и др., 1992) и модельного статистического вывода (Ройалл, 1970; Вальянт, Дорфман, Ройалл, 2000). Снижение доли респондентов, отвечающих на телефонные звонки, и массовый отказ от стационарной телефонной связи обусловили переход к адресной выборке и стимулировали продолжающиеся в AAPOR и национальных статистических ведомствах дискуссии о методологической состоятельности невероятностных онлайн-панелей^[8][9].

В России традиции земской статистики и научная школа А. А. Чупрова заложили основу для последующих советских выборочных обследований крестьянских хозяйств и бюджетов населения. После 1990-х годов Росстат осуществил переход к проведению обследований домашних хозяйств на основе многоступенчатых территориальных планов выборки с обязательной калибровкой оценок по демографическим показателям.

• Целевая (генеральная) совокупность ${\displaystyle U=\{1,\dots ,N\}}$ — множество единиц, о котором хотят сделать вывод (домохозяйства страны, занятые, предприятия отрасли). Слово «популяция» в русской статистике обычно оставляют биологии.
• Основа выборки (выборочная рамка, sampling frame) ${\displaystyle F}$ — список, регистр, карта или правило, по которому единицы можно идентифицировать и отобрать. Это не «инструментарий».
• План отбора ${\displaystyle p(s)}$ — распределение вероятностей на подмножествах ${\displaystyle U}$. Вероятность включения ${\displaystyle \pi _{i}=\Pr(i\in s)}$.
• Выборка ${\displaystyle s}$ — реализованное множество отобранных единиц.
• Респонденты ${\displaystyle r\subseteq s}$ — те, от кого получены годные ответы. Разность ${\displaystyle s\setminus r}$ порождает неответы.
• Перепись в методологии обследований — сплошной охват данной целевой совокупности, не обязательно всенародная перепись населения.

Отбор единиц не является вероятностным и обследование неправомерно считать выборочным, если имеет место какое-либо из перечисленных ниже условий^[10]:

• отбор ограничен наиболее доступной для наблюдения частью генеральной совокупности;
• отбор производится беспорядочно, наугад;
• отбираются единицы, наиболее «типичные» для данной совокупности (по мнению эксперта или исполнителя);
• отбираются единицы с некоторыми заранее заданными свойствами;
• в число обследуемых включаются единицы, изъявившие согласие участвовать в проводимом исследовании.

Сплошное наблюдение дорого, долго и иногда разрушает объект (контроль качества). Выборка уменьшает затраты, но вносит ошибку репрезентативности. При вероятностном плане эту случайную составляющую можно оценить; систематические ошибки (охват, неответы, измерение) сами по себе не исчезают^[11][12].

Точность зависит прежде всего от числа наблюдений и от однородности совокупности, а не от доли ${\displaystyle n/N}$. Для большой ${\displaystyle N}$ поправка на конечность совокупности ${\displaystyle 1-n/N}$ почти равна единице: опрос 1000 взрослых даёт почти ту же выборочную дисперсию и в городе на 200 тысяч, и в стране на 100 миллионов.

План выборки называют вероятностным, если для каждой единицы целевой совокупности, попавшей в основу, задана известная и строго положительная вероятность включения ${\displaystyle \pi _{i}>0}$. Равенство вероятностей не требуется: допустимы и неравные ${\displaystyle \pi _{i}}$ (отбор с вероятностью, пропорциональной размеру).

Вероятностный план позволяет строить вывод по плану (design-based inference): случайность берётся из механизма отбора, значения признака на совокупности считаются фиксированными.

Адаптивный отбор

Вероятности доопределяются по ходу (редкий вид, сети контактов). Это всё ещё вероятностный план, если итоговые ${\displaystyle \pi _{i}}$ можно вычислить^[15].

Для сложных планов отбора (многоступенчатых, стратифицированных, кластерных) стандартные формулы дисперсии неприменимы. Используют два основных подхода: линеаризацию Тейлора и методы повторной выборки.

Линеаризация Тейлора (Taylor linearization) — аналитический метод, основанный на приближении нелинейной статистики её первым порядком в ряду Тейлора. Он быстро вычисляется и даёт замкнутую формулу дисперсии для гладких статистик.

Методы повторной выборки создают псевдовыборки из исходной и оценивают дисперсию по их вариации. Наиболее распространены:

• Jackknife — последовательное удаление одного или нескольких первичных блоков отбора (PSU) и пересчёт оценки;
• Balanced Repeated Replication (BRR) — идеален для стратифицированных планов с двумя PSU на слой^[16];
• Bootstrap — многократная выборка с возвращением из исходной выборки с учётом её структуры.

Эти методы реализованы в специализированном ПО (R-пакет survey, Stata, WesVar) и позволяют строить корректные доверительные интервалы даже при очень сложных дизайн-структурах.

Неответы (unit nonresponse) нарушают свойства вероятностной выборки и могут вызывать смещение. Для его снижения применяют взвешивание на основе модели склонности к ответу (propensity score weighting) или итеративную пропорциональную подгонку (raking).

Модель склонности к ответу оценивает вероятность того, что единица ответит на опрос, на основе доступных характеристик (демография, прошлые ответы). Веса респондентов корректируются обратной величиной этой вероятности.

Raking (итеративное взвешивание) подбирает веса так, чтобы маргинальные распределения по ключевым переменным (пол, возраст, регион) в выборке совпадали с известными популяционными контролями.

Эти методы особенно важны для онлайн-панелей и других источников с высоким уровнем неответа.

Современная официальная статистика всё чаще интегрирует традиционные выборочные обследования с источниками больших данных (big data): административными регистрами, цифровыми следами, данными мобильных операторов и спутниковыми снимками^[17].

Преимущества такой интеграции:

• снижение нагрузки на респондентов и стоимости сбора;
• повышение частоты и детализации показателей (например, мелкие территории);
• возможность верификации и калибровки выборочных оценок.

Росстат разрабатывает концепцию использования больших данных и проводит пилотные проекты в этом направлении. Однако такие подходы требуют решения методологических проблем: отсутствие вероятностного отбора в больших данных, смещение покрытия и необходимость строгой защиты персональных данных.

Для изучения труднодоступных групп (наркозависимые, секс-работники, бездомные) применяют адаптивные методы отбора, где схема меняется в ходе сбора данных.

Respondent-driven sampling (RDS) использует цепочки рекрутинга через доверие: каждый респондент приглашает знакомых. При определённых условиях это позволяет получить состоятельные оценки характеристик скрытой совокупности^[18].

Time-location sampling (TLS) — вероятностный метод, при котором отбирают временные и пространственные точки (бары, парки, клиники), где целевая группа собирается, и затем отбирают посетителей в эти моменты^[19].

Новые гибридные подходы, такие как «starfish sampling», комбинируют сильные стороны RDS и TLS для повышения репрезентативности.

• Ошибка охвата. Единицы целевой совокупности отсутствуют в основе (недоохват) или основа содержит посторонние / дубли. Телефонный опрос не покрывает домохозяйства без номера.
• Выборочная ошибка (случайная). Оценивается по плану. Её не следует называть «систематической».
• Смещение отбора, если фактические вероятности не те, что заложены в веса. Пример: домохозяйство с ${\displaystyle k}$ номерами имеет в RDD шанс примерно в ${\displaystyle k}$ раз выше; поправка — вес ${\displaystyle 1/k}$.
• Неответы (unit- и item-nonresponse). Смещение возникает, когда ответившие отличаются от молчащих по изучаемому признаку, а не от самого факта отказа. Даже единицы с известными ${\displaystyle \pi _{i}}$ после массовых отказов перестают быть чистой вероятностной выборкой: механизм неответа неизвестен и его моделируют (корректировка на полное неответствие, калибровка, импутация).
• Самоотбор и участие. Добровольная запись в панель или «кто кликнул баннер» — отдельные механизмы; их нельзя отождествлять с неответом уже отобранных^[20].

Если вероятности включения неизвестны, стандартный вывод по плану неприменим: нельзя получить несмещённую оценку и корректную выборочную дисперсию из одного только механизма отбора^[8]. Это не значит, что результат всегда «неточный», но обобщение на совокупность опирается на внешние допущения (игнорируемость отбора, модель суперпопуляции).

Распространённые схемы^[21]:

• экспертная (суждения, purposive): исследователь сам назначает «типичные» единицы. Уязвима к его предвзятости; исторически это метод, который Нейман противопоставил случайному отбору^[4];
• снежный ком (не «образцы снежного кома»): редкая скрытая совокупность: каждый респондент приводит следующих. Полезна для качественного поиска; вероятности неизвестны, если не строить отдельную модель графа (respondent-driven sampling — уже полувероятностное развитие);
• квотная выборка: задают численности по полу, возрасту, району; интервьюер добирает квоту как удобно. Обычна в маркетинге и ранних предвыборных опросах. Маргиналы совпадают с контрольными, совместные распределения и «трудные» группы — нет;
• удобная выборка (стихийная): кто оказался рядом — студенты курса, прохожие у метро, онлайн-панель по приглашению.

Даже вероятностная выборка после неответов анализируется с моделями. Существует два подхода^[22][23][24]:

• Модельно-вспомогательный (model-assisted, Сарндал — Свенссон — Вретман): план остаётся источником несмещённости; модель (регрессия на регистр) уменьшает дисперсию (обобщённая регрессионная оценка, калибровка).
• Модельный (model-based, prediction approach, Ройалл, Вальян, Брюэр): конечная совокупность — реализация суперпопуляции; свойства оценок берут по модели, а не по ${\displaystyle p(s)}$^[25].

Пример 1 (простая случайная). На заводе 2400 сотрудников, основа — расчётная ведомость. Нужна средняя оценка удовлетворённости. Таблица случайных чисел отбирает ${\displaystyle n=200}$ табельных номеров без возвращения. Каждый имеет ${\displaystyle \pi _{i}=200/2400=1/12}$, вес 12.

Пример 2 (страты). Город 70 % / село 30 %, дисперсия дохода в селе выше. По Нейману сельский слой получает долю выборки больше 30 %. Оценка средней по стране — взвешенная сумма слойных средних, веса — доли ${\displaystyle N_{h}/N}$, а не доли в выборке.

Пример 3 (кластеры). Чтобы не ездить в 200 сёл, отбирают 40 сёл и в каждом опрашивают 15 дворов. Поле дешевле; ${\displaystyle \operatorname {deff} >1}$, эффективный объём меньше, чем ${\displaystyle 40\times 15=600}$ независимых интервью.

Пример 4 (вес за несколько телефонов). В RDD у семьи три номера. Без веса она в среднем втрое чаще попадает в выборку. Базовый вес умножают на ${\displaystyle 1/3}$.

Пример 5 (оценка Хорвица — Томпсона). Совокупность из четырёх фирм с оборотами 10, 20, 30, 40; план включает каждую с ${\displaystyle \pi =(0{,}2;\;0{,}3;\;0{,}6;\;0{,}9)}$. Реализовалась выборка ${\displaystyle \{2,4\}}$. Оценка суммарного оборота

${\displaystyle {\hat {Y}}=20/0{,}3+40/0{,}9\approx 111{,}1}$

(истина 100). Повторяя отбор, среднее ${\displaystyle {\hat {Y}}}$ сходится к 100; средняя отобранных оборотов — нет.

Пример 6 (объём для доли). Для доли при ${\displaystyle p\approx 1/2}$, доверии 95 % и предельной ошибке 3 п.п. в бесконечной совокупности

${\displaystyle n\approx {\frac {1{,}96^{2}\cdot 1/4}{0{,}03^{2}}}\approx 1067.}$

Кластерный дизайн умножает ${\displaystyle n}$ на ${\displaystyle \operatorname {deff} }$; ожидаемая доля отклика — в знаменатель.

Пример 7 (Literary Digest, 1936). Журнал разослал около 10 млн открыток по телефонным книгам, спискам автовладельцев и подписчикам и на 2,3 млн ответов предсказал победу Лэндона. Рузвельт выиграл с 60,8 % голосов. Сработали и недоохват (телефон и автомобиль в 1936 году коррелировали с доходом и республиканским голосованием), и самоотбор / неответ тех, кто открытку не вернул. Дж. Гэллап на гораздо меньшей квотной выборке указал победителя. Это не триумф современной вероятностной территориальной выборки (её стандарт сложился позже), а крах огромной, но кривой основы^[26].

Пример 8 (квота на «100 любителей кофе»). Маркетинговый опрос в торговом центре наберёт квоту за день. Нельзя оценить долю любителей кофе в городе: не пришедшие в центр и отказавшиеся от интервью имеют нулевую фактическую вероятность.

Пример 9 (снежный ком). Исследование потребителей инъекционных наркотиков: первый информант приводит двух знакомых и т. д. Выборка разрастается в скрытой совокупности, но «тяжёлые» узлы сети перепредставлены.

Пример 10 (онлайн-панель). Opt-in панель взвешивают по полу, возрасту и образованию переписи. Маргиналы совпадут; смещение по ненаблюдаемым признакам (интерес к опросам, цифровой доступ) останется. OMB прямо ограничивает такие выборки для федеральных оценок параметров совокупности.

Пример 11 (Росстат). Обследование бюджетов домашних хозяйств и обследование рабочей силы — многоступенчатые территориальные выборки с последующей калибровкой к демографическим контролям. Это вероятностные обследования с неответами, а не «супервыборки».

Пример 12 (отсекающий отбор). В обследовании предприятий берут все единицы с оборотом выше порога и ни одной ниже (cutoff). Для суммы по отрасли смещение может быть малым, если хвост мал; выборочную ошибку «по Кишу» посчитать нельзя — это как раз случай, который OMB требует отдельно обосновать.

• Официальная статистика. Бюджеты домохозяйств, рабочая сила (ОНПЗ / обследование рабочей силы), индексы цен, обследования сельхозпроизводителей: сплошная перепись редка, межпереписные годы держат на выборке. Микроперепись — тоже выборка, только крупная.
• Общественное мнение и выборы. Рейтинги, exit poll, поствыборные исследования. Урок 1936 года и провалы квотных опросов 1948 года в США закрепили спрос на вероятностные территориальные и телефонные планы; с падением отклика снова спорят о панелях и моделировании.
• Эпидемиология и медицина. Выборочные обследования здоровья, вакцинации, поведенческих рисков. Клинические испытания рандомизируют лечение, но рекрутирование пациентов чаще удобное — обобщение на всех больных требует оговорки.
• Экономика предприятий и сельского хозяйства. PPS по размеру, отсекающий отбор крупных, регистры как основы.
• Маркетинг и UX. Квоты и удобные панели уместны для сравнения вариантов и поиска дефектов интерфейса; для доли на рынке без основы они дают порядок величины, а не интервал.
• Онлайн. Случайный баннер или случайный ID в журнале ближе к вероятностному, чем вирусная ссылка; на практике почти всегда самоотбор.