Алгоритмическая предвзятость

Ранние размышления о несвободе вычислительных систем от ценностей появились в 1970-е годы. Философ техники Лэнгдон Виннер показал, что технологии не являются нейтральными инструментами, а воплощают политические отношения^[4].

Джозеф Вейценбаум, создавший программу ELIZA, предупреждал, что компьютеризация институционализирует существующие иерархии и что доверие к компьютерным системам может быть чрезмерным.

Один из ранних задокументированных примеров алгоритмической предвзятости — система отбора претендентов в медицинскую школу Больницы святого Георгия в Великобритании (1982—1986), которая дискриминировала женщин и кандидатов с «неанглийскими» фамилиями.

Первой систематической научной работой стала статья Батьи Фридман и Хелен Ниссенбаум о смещениях в компьютерных системах, опубликованная в 1996 году, где были введены три базовых типа предвзятости и предложено оценивать свободу от предвзятости как критерий качества наряду с надёжностью и эффективностью^[5].

В 2010-е годы с распространением обучения на больших данных в сферах найма, кредитования и уголовного правосудия проблема получила широкую огласку.

2016 год стал переломным: журналистское расследование ProPublica о системе COMPAS показало, что алгоритм оценки риска рецидива завышал риск для чернокожих подсудимых и занижал для белых^[6]. В том же году Солон Барокас и Эндрю Зельбст опубликовали фундаментальный правовой анализ «Big Data’s Disparate Impact», показавший, как алгоритмы наследуют предубеждения предшествующих решений и воспроизводят их через прокси-переменные, даже без явного использования защищаемых признаков^[7].

Публикации Кэти О’Нил «Weapons of Math Destruction» (2016) и Сафии Нобл «Algorithms of Oppression» (2018) сделали проблему предметом общественного обсуждения и показали, что поисковые и рекомендательные системы усиливают расизм и сексизм^[8][9].

В 2020-е годы проблема алгоритмической предвзятости перешла в сферу регулирования. Европейский союз принял Общий регламент по защите данных (GDPR) и разработал Закон об искусственном интеллекте (AI Act). AI Act (Regulation (EU) 2024/1689) — это первый в мире комплексный правовой акт, специально посвящённый регулированию искусственного интеллекта. Он был принят Европейским парламентом и Советом ЕС 13 июня 2024 года. В США развиваются концепции «различного воздействия» в антидискриминационном праве. Появляются стандарты аудита алгоритмов и требования к прозрачности^[10].

В основополагающей работе Фридман и Ниссенбаум (1996) выделены три базовых типа^[16]. Предсуществующая предвзятость имеет корни в социальных институтах, практиках и установках, существующих независимо от системы. Алгоритм наследует исторические паттерны исключения, если обучается на данных, отражающих прошлое неравенство. Например, историческая дискриминация при найме на работу отражается в данных о сотрудниках. Техническая предвзятость возникает из-за ограничений аппаратного и программного обеспечения, необходимости квантифицировать качественные явления или формализовать нечёткие человеческие понятия. Пример: ограничение длины текста в резюме приводит к потере важной информации. Эмерджентная предвзятость появляется в контексте использования, когда система применяется новой аудиторией или в непредвиденных условиях, для которых она не проектировалась. Например, система распознавания лиц, обученная на данных одной этнической группы, плохо работает с другими группами^[10].

В машинном обучении эта классификация была расширена. Выделяют следующие виды смещений^[17]. Смещение представления возникает, когда выборка непредставительна для целевой популяции. Смещение измерения проявляется, когда выбранные признаки являются несовершенными прокси целевой переменной. Смещение агрегирования имеет место, когда единая модель применяется к гетерогенным группам, для которых нужны разные модели. Смещение обучения возникает, когда функция потерь или алгоритм обучения усиливает различия между группами. Смещение оценки наблюдается, когда тестовая выборка нерепрезентативна или метрики не учитывают различия между группами. Смещение развёртывания появляется, когда контекст применения отличается от проектного и система используется не по назначению.

Система найма компании Amazon (2014—2018), обученная на резюме преимущественно мужчин, стала понижать резюме, содержащие слова, связанные с женщинами (например, «женский клуб», «женский колледж»), и была закрыта^[19].

Коммерческие системы распознавания лиц (IBM, Microsoft, Face++) демонстрировали значительно более высокую ошибку для темнокожих женщин (до 34%) по сравнению с белыми мужчинами (менее 1%) из-за непредставительных обучающих наборов. Это исследование, известное как «Gender Shades», провела Джой Буоламвини в 2018 году^[20].

Алгоритмы управления здоровьем, используемые в американских больницах, применяли затраты на лечение как прокси потребности в помощи. Поскольку чернокожие пациенты исторически имели меньший доступ к медицинской помощи и тратили меньше, алгоритм систематически недооценивал их потребности, направляя меньше ресурсов на их лечение.

Система COMPAS для оценки риска рецидива, используемая в судах США, завышала риск для чернокожих подсудимых (45% ложноположительных срабатываний) и занижала для белых (23% ложноотрицательных)^[21][22].

Исследования Сафии Нобл показали, что поисковые системы по запросам, связанным с определёнными расовыми и гендерными группами, выдают стереотипные и оскорбительные результаты, усиливая предрассудки^[23].

Современные системы генерации изображений (DALL-E, Midjourney, Stable Diffusion) воспроизводят гендерные и расовые стереотипы: по запросам о профессиях высокого статуса чаще генерируют мужчин, а по запросам о низкоквалифицированном труде — женщин и представителей меньшинств.

Групповые метрики оценивают справедливость путём сравнения результатов между различными демографическими группами. Они основаны на концепции статистической дискриминации и требуют наличия информации о принадлежности к защищаемым группам. При расчёте таких метрик обычно используется матрица ошибок, позволяющая оценить соотношение истинных и ошибочных решений.

Демографический паритет также известный как статистический паритет, требует равенства доли положительных решений для разных групп. Математически это выражается как ${\displaystyle P({\hat {Y}}=1\mid A=a)=P({\hat {Y}}=1\mid A=b)}$, где ${\displaystyle {\hat {Y}}}$ — предсказание модели, ${\displaystyle A}$ — защищаемый атрибут. Например, процент одобренных кредитов должен быть одинаковым для мужчин и женщин, независимо от их реальной кредитоспособности. Этот критерий игнорирует различия в базовых распределениях и может требовать назначения разных порогов для разных групп^[27].

Равенство возможностей требует равенства истинно-положительных ставок (TPR — True Positive Rate) среди тех, кто действительно заслуживает положительного исхода. Формально: ${\displaystyle P({\hat {Y}}=1\mid Y=1,A=a)=P({\hat {Y}}=1\mid Y=1,A=b)}$, где ${\displaystyle Y}$ — истинный результат. Например, среди квалифицированных кандидатов процент приглашённых на собеседование должен быть одинаковым для всех групп. Этот критерий допускает различия в ложноположительных ошибках, что может быть проблематично в некоторых контекстах.

Равенство шансов требует равенства как истинно-положительных (TPR), так и ложноположительных ставок (FPR — False Positive Rate) между группами. Это более строгий критерий, чем равенство возможностей, поскольку требует: ${\displaystyle P({\hat {Y}}=1\mid Y=1,A=a)=P({\hat {Y}}=1\mid Y=1,A=b)\quad {\text{и}}\quad P({\hat {Y}}=1\mid Y=0,A=a)=P({\hat {Y}}=1\mid Y=0,A=b)}$. Например, система должна одинаково точно идентифицировать как подходящих, так и неподходящих кандидатов из разных групп.

Калибровка требует, чтобы предсказанная вероятность соответствовала реальной частоте исхода для всех групп. Формально: ${\displaystyle P(Y=1\mid {\hat {Y}}=p,A=a)=P(Y=1\mid {\hat {Y}}=p,A=b)=p}$ для всех ${\displaystyle p}$. Например, если модель предсказывает 80% вероятности дефолта для группы, то действительно 80% случаев в этой группе должны привести к дефолту. Этот критерий важен для систем, где предсказания используются для принятия решений на основе пороговых значений.

Прогностический паритет требует равенства точности положительных предсказаний (PPV — Positive Predictive Value) между группами: ${\displaystyle P(Y=1\mid {\hat {Y}}=1,A=a)=P(Y=1\mid {\hat {Y}}=1,A=b)}$. Это означает, что среди тех, кому модель предсказала положительный исход, доля действительно положительных случаев должна быть одинаковой.

Индивидуальная справедливость требует, чтобы похожие индивиды получали похожие предсказания, независимо от их групповой принадлежности. Формально: для любых двух индивидов ${\displaystyle x_{1}}$ и ${\displaystyle x_{2}}$, если ${\displaystyle d(x_{1},x_{2})\leq \varepsilon }$ (где ${\displaystyle d}$ — метрика сходства), то ${\displaystyle |f(x_{1})-f(x_{2})|\leq \delta }$ (где ${\displaystyle f}$ — функция предсказания). Этот подход не требует знания групповой принадлежности, но требует определения метрики сходства, что само по себе является нормативным решением.

Контрфактуальная справедливость требует, чтобы предсказание не изменилось при изменении защищаемого атрибута в контрфактуальном сценарии. Формально: ${\displaystyle Y_{x}(u)=Y_{x,A=a}(u_{A=a'})}$ для всех ${\displaystyle u}$, где ${\displaystyle u}$ — контекстные переменные. Это означает, что решение должно быть одинаковым для индивида и его контрфактуальной версии с другим защищаемым атрибутом при прочих равных условиях^[28].

Фундаментальный результат, известный как «теорема о невозможности справедливости» (Chouldechova, 2017; Kleinberg et al., 2017), состоит в несовместимости этих критериев в общем случае: за исключением вырожденных случаев невозможно одновременно удовлетворить всем желаемым метрикам, если базовые распределения групп различаются^[29][30]. Этот результат аналогичен по духу теоремам невозможности в других областях, таким как теорема Эрроу о невозможности в теории общественного выбора.

Это означает, что выбор метрики отражает нормативное суждение о том, какой вид вреда считается приоритетным: ложные срабатывания или ложные отрицания, групповое или индивидуальное неравенство. Например, в системе уголовного правосудия может быть важнее минимизировать ложные срабатывания (невиновные, признанные виновными), чем обеспечить демографический паритет.

Выбор метрики зависит от контекста применения. В системах найма часто используется равенство возможностей, чтобы обеспечить равный доступ к собеседованиям для квалифицированных кандидатов. В кредитовании может применяться калибровка, чтобы предсказания риска были точными для всех групп. В уголовном правосудии равенство шансов может быть предпочтительнее, чтобы минимизировать как ложные срабатывания, так и ложные отрицания.

Существуют также композитные метрики, объединяющие несколько критериев, и адаптивные подходы, позволяющие настраивать баланс между различными видами справедливости в зависимости от конкретных требований и ограничений.

Обнаружение предвзятости требует комплексного аудита как данных, так и модели. Аудит данных включает анализ распределения признаков, выявление непредставленных групп, проверку корреляций с защищаемыми признаками. Статистическое тестирование применяет тесты на различие распределений между группами. Контрфактуальная справедливость тестирует, как изменится предсказание при изменении защищаемого признака при прочих равных. Дезагрегированная оценка производит оценку метрик качества отдельно для каждой демографической группы. Внешний аудит привлекает независимых организаций для проверки системы.

Для смягчения предвзятости используются подходы на трёх уровнях^[31].

На уровне предобработки данных применяются следующие методы. Перевзвешивание увеличивает вес недопредставленных примеров. Ресемплирование балансирует выборку через передискретизацию меньшинств или недодискретизацию большинства. Аугментация данных создаёт синтетические примеры для непредставленных групп, в том числе с помощью методов вроде SMOTE. Удаление прокси исключает признаки, коррелирующие с защищаемыми атрибутами. Трансформация признаков модифицирует признаки для удаления информации о групповой принадлежности.

Внутрипроцессные методы включают несколько подходов. Ограничения справедливости добавляют в функцию потерь штраф за нарушение метрик справедливости. Адверсарное обучение использует состязательную сеть для удаления информации о защищаемых признаках из представлений. Многозадачное обучение осуществляет одновременную оптимизацию точности и справедливости. Групповые модели обучают отдельные модели для разных групп.

Методы постобработки также играют важную роль. Калибровка порогов использует разные пороги решений для разных групп. Отказ от предсказаний воздерживается от предсказания в случаях высокой неопределённости. Коррекция предсказаний производит пост-обработку выходов модели для достижения демографического паритета.

Важную роль играют не только технические, но и организационные меры. Карты данных документируют происхождение, состав, ограничения и этические аспекты наборов данных. Карты моделей документируют предполагаемое использование, метрики качества в разных демографических срезах, ограничения. Этические комитеты создаются как внутренние органы для оценки этических рисков. Разнообразие команд обеспечивает разнообразие разработчиков для выявления потенциальных предубеждений. Механизмы обжалования предоставляют пользователям возможность оспорить автоматизированное решение.

Критики указывают, что фокус на технических метриках справедливости может отвлекать от структурных причин неравенства и легитимировать использование проблемных систем после косметической корректировки.

Попытки формализации справедливости часто опираются на упрощённое представление о социальных категориях как фиксированных и дискретных, тогда как в реальности они являются динамичными (идентичности меняются со временем), пересекающимися — дискриминация усиливается на пересечении нескольких категорий (например, чернокожая женщина), и контекстуальными — значимость категорий зависит от контекста^[32].

Существуют опасения, что требования к сбору чувствительных демографических данных для аудита противоречат принципам приватности и могут быть использованы во вред тем же группам, которые призваны защищать.

Концепции справедливости культурно специфичны: то, что считается справедливым в одной культуре, может быть неприемлемо в другой. Универсальные метрики могут не учитывать этот контекст.