Барнардизация

Термин «барнардизация» образован по фамилии профессора Джорджа Альфреда Барнарда — профессора математики Университета Эссекса. Барнард, в то время президент Королевского статистического общества, был одним из трёх специалистов, назначенных Советом Королевского статистического общества для проведения правительственного обзора мер по обеспечению безопасности данных в ходе переписи населения Великобритании 1971 года. Итоговый отчёт поставил под вопрос целесообразность округления малых чисел до ближайших пяти как лучшего средства для сохранения конфиденциальности респондентов. Официальный ответ правительства на доклад отметил, что в переписи 1971 года был введён дополнительный механизм — незначительные случайные поправки; в качестве автора данной идеи прямо указан профессор Барнард, как и в статье New Scientist за июль 1973 года. С другой стороны, статья в журнале Королевского статистического общества за 1973 год отмечала, что «после длительного обсуждения была принята модификация процедуры, предложенной в Канаде». Предположительно, профессор Барнард принимал участие в этих обсуждениях и стал автором модифицированного варианта. Впрочем, свидетельств применения аналогичных мер в Канаде не обнаружено: Статистическое управление Канады продолжало использовать случайное округление всех значений до ближайших 0 или 5.

Несмотря на то, что метод возник по инициативе профессора Барнарда, в документации по переписи 1971 года его называли лишь «процедурой», «корректировкой значений», «специальной процедурой», «процессом внесения случайной ошибки», либо «модификацией» или «корректировкой».

Самое раннее закреплённое в печати употребление термина «барнардизация» обнаружено в рабочем документе Управления по переписям населения, подготовленном Хаким в 1979 году, где термин вводится без указания источника и без отсылки к профессору Барнарду. Однако либо это нововведение осталось незамеченным и не было подхвачено в научных публикациях, либо использовалось крайне ограниченно, о чём свидетельствует широкое многообразие более поздних источников, приводимых выше.

Термин «барнардизация» вновь появляется только в издании 1995 года, в книге Стэна Опеншоу «Справочник пользователя переписи населения», где его используют два автора различных глав, а также составитель предметного указателя. Тем не менее, уже к концу 1980-х этот термин стал общепринятым в устной речи среди британских исследователей на академических конференциях и встречах. В последние годы термин «барнардизация» окончательно утвердился в официальной документации британских статистических агентств и других организаций.

В изначальной реализации для переписи населения Великобритании 1971 года барнардизация предусматривала дополнительную особенность — парное объединение таблиц из разных районов и применение равной по модулю, но противоположной корректировки к соответствующим значениям в паре. Например, если в ячейке таблицы района A значение увеличивалось на 1, то в парном районе B соответствующая ячейка уменьшалась на 1 (при условии, что результат не становился отрицательным). Такая парная схема позволяла минимизировать сумму вносимой случайной погрешности на уровне укрупнённых данных.

В переписи населения 1991 года в Великобритании отказались от парного объединения районов перед применением барнардизации; а для более детализированных локальных статистик диапазон корректировок расширили до −2, −1, 0, +1 или +2, за счёт двукратного применения корректировки +1, 0 или −1.

В Великобритании барнардизация всё шире использовалась государственными органами для публикации статистических данных без нарушения конфиденциальности граждан, к которым эти сведения относятся. В ряде случаев процедура подвергалась дополнительным модификациям. Так, в реализации Департамента общих служб поправки −1, 0 или +1 применялись только к ячейкам с подсчётом от 1 до 4, тогда как 0 корректировалось путём случайного прибавления 0 или +1.

В обзоре методов статистической защиты данных, проведённом в преддверии переписи населения 2011 года в Великобритании, с точки зрения поставщика данных были выделены следующие достоинства и недостатки барнардизации:

Преимущества

• Простота понимания
• Простота внедрения
• Итоговые суммы по таблице согласованы с внутренними значениями ячеек
• Поправки являются несмещёнными.

Недостатки

• Возможны несогласованные значения для одних и тех же ячеек и итоговых сумм, если таблицы подвергались барнардизации независимо друг от друга.
• Поправки могут быть вычислены «обратным ходом» (дифференцированием), если доступны другие таблицы с теми же данными или суммами, либо известны нескорректированные суммарные значения для большей области, включающей эти таблицы.
• Обычно вероятность корректировки невелика, что приводит к сохранению большинства значений без изменений.

С точки зрения пользователя, ещё одним достоинством барнардизации является меньший эффект на типовые анализы по сравнению с другими мерами статистической защиты: случайное округление до 5 (используется Статистическое управление Канады), случайное округление до 3 (используется Статистическое управление Новой Зеландии) и корректировка малых ячеек (Small Cell Adjustment), применяемая в разные периоды Бюро национальной статистики и Австралийским статистическим ведомством.

С конца 1990-х годов обеспокоенность эффективностью барнардизации в защите конфиденциальности стала существенно возрастать. В настоящее время барнардизацию не рекомендуют в качестве метода по умолчанию, а используют только в особых случаях. Такая перемена связана с относительно высокой вероятностью того, что барнардизация оставляет малое значение (особенно 1) без изменений, а также с опасностью обратного восстановления исходных значений при наличии нескольких пересекающихся скорректированных таблиц. По этим и другим причинам с 2001 года переписи населения Великобритании полностью отказались от барнардизации. Альтернативные подходы, принятые в 2001, 2011 и 2021 годах и основания их внедрения, рассматриваются в работе Спайсера.

Вопрос о том, обеспечивает ли барнардизация полную анонимизацию данных и каково её положение с точки зрения Закона о защите данных 1998 года, был предметом анализа Комиссаром по информации Шотландии. Некоторые положения первоначального решения комиссара были отменены по апелляции Палаты лордов, и было предложено пересмотреть решение. Окончательное решение констатировало, что барнардизация не обеспечивает достаточного уровня защиты от раскрытия для редких событий (например, случаев детской лейкемии), что частично пересмотрело исходную позицию комиссии: «Сами по себе скорректированные (барнардизированные) данные могут привести к идентификации, и […] влияние барнардизации на реальные цифры, по крайней мере в применении CSA, не достигает той степени маскировки, которую он [комиссар] первоначально предполагал»^{:para 20}. Однако в письменном решении статистическое обоснование такой оценки не приведено; суть рассуждений касалась юридических моментов, связанных с определением персональных (чувствительных) данных и их статуса до и после барнардизации.