Алгоритмическая предвзятость
Алгоритмическая предвзятость (англ. algorithmic bias) — это систематическая и повторяющаяся вредоносная склонность компьютерной системы или социотехнической системы, приводящая к появлению «несправедливых» результатов, например, «привилегированию» одной категории над другой вопреки задуманной функции алгоритма[2].
Предвзятость может возникать по многим причинам, включая особенности проектирования алгоритма, неучтённые аспекты применения, а также решения, связанные с тем, как данные кодируются, собираются, выбираются или используются для обучения алгоритма[3]. Примеры алгоритмической предвзятости наблюдаются в результатах поисковых систем и на социальных платформах. Эта предвзятость способна приводить от ненамеренных нарушений приватности до закрепления социальных предубеждений по признаку расы, пола, этнической принадлежности и др. Изучение алгоритмической предвзятости особо акцентируется на алгоритмах, отражающих «систематическую и несправедливую» дискриминацию[4]. Вопрос был официально поднят только в последние годы в законодательных инициативах, таких как Общий регламент по защите данных (ЕС, предложен в 2018) и Акт об искусственном интеллекте (ЕС, предложен в 2021, одобрен в 2024).
По мере расширения роли алгоритмов в организации общества, политики, институтов и поведения, социологи выражают опасения по поводу последствий неучтённых результатов и манипуляций данными для окружающего мира. Поскольку алгоритмы часто считаются «нейтральными» и беспристрастными, им может ошибочно приписываться больший авторитет, чем экспертному мнению человека (отчасти из‑за явления предвзятость автоматизации), при этом ответственность за последствия решений смещается с людей на алгоритмы. Предвзятость формируется как из‑за существующих культурных, социальных или институциональных ожиданий, так и в результате выбора признаков и меток, технических ограничений проектирования или применения в неожиданных для создателей сценариях[5].
Алгоритмическая предвзятость вызывает последствия от манипуляций исходом выборов до распространения онлайн-риторики ненависти. Проблема также проявляется в системах уголовного правосудия[6], здравоохранении, найме, усугубляя существующие расовые, экономические и гендерные перекосы. Сложности исследования и выявления алгоритмических предвзятостей усугубляются закрытостью коммерческих алгоритмов, а также сложностью и изменчивостью современных алгоритмов. Даже в рамках одного сайта или приложения может не существовать единого «алгоритма» для анализа, а использоваться множество взаимосвязанных программ и входных данных.
Обзор 2021 года выделил несколько форм предвзятости в алгоритмах, включая историческую, репрезентативную и измерительную, каждая из которых способна приводить к несправедливым результатам[7].
Определения
_(20385500690).jpg)
Алгоритмы, по сути, сложно определить[8], но их можно понимать как последовательности инструкций, определяющих, как программы считывают, собирают, обрабатывают и анализируют данные для получения результата[9]. Рост вычислительных мощностей способствовал развитию и распространению технологий машинного обучения и искусственного интеллекта. Алгоритмы лежат в основе работы поисковых систем[10], социальных сетей, рекомендательных систем[11], электронной коммерции[12], интернет-рекламы[13] и многого другого[14].
Современные социологи анализируют алгоритмически реализованные процессы в аппаратном и программном обеспечении из‑за их политического и социального воздействия, подвергая сомнению представление о нейтральности алгоритмов[15]. Термин «алгоритмическая предвзятость» описывает повторяющиеся ошибки, создающие несправедливые результаты, например, систематически выделяя одну группу пользователей. Так, алгоритм кредитного скоринга может отказать в займе на основе релевантных финансовых показателей (это не обязательно несправедливо), однако если две почти идентичные группы пользователей получают разные рекомендации по не относящимся к делу основаниям, речь идёт о предвзятости.
Методы возникновения
Предвзятость может закладываться в алгоритмы различными способами. На этапе формирования набора данных данные могут собираться, оцифровываться и каталогизироваться по критериям, определённым человеком[16]. Следующим этапом является программирование приоритетов или иерархий для оценивания и сортировки данных — эти решения также принимаются людьми[16]. Некоторые алгоритмы собирают данные на основании критериев, выбранных человеком, что тоже может отражать предвзятость разработчиков[16]. В ходе работы алгоритмы могут закреплять стереотипы и предпочтения, выбирая релевантную по мнению программы информацию[16].
Кроме того, предвзятость может проявляться на уровне проектирования[17]. Например, при автоматическом распределении ресурсов или выборе критериев для принятия решений (например, при отборе в школы, кредитовании) алгоритм может «случайно» дискриминировать определённые категории на основе косвенно сходных пользователей[18]. Рекомендательные системы, ассоциирующие пользователей друг с другом, могут опираться на неточные социально-экономические или демографические стереотипы. Кроме того, предвзятость может быть связана с техническими особенностями, например с большим объёмом данных для определённых групп, что ведёт к игнорированию меньшинств[19].
История
Ранние критики
.jpg)
Первые компьютерные программы разрабатывались для имитации человеческой логики. В своей книге «Власть ЭВМ и человеческий разум» (1976) один из пионеров искусственного интеллекта Джозеф Вейценбаум утверждал, что предвзятость возможна как на уровне данных, так и в коде самой программы[20].
Вейценбаум отмечал, что программы — это последовательности правил, созданные человеком. Следовательно, они отражают мировоззрение и, возможно, предубеждения программиста[20]. Кроме прямого кодирования, выбор и подготовка данных также несут отпечаток решений и ожиданий создателей[20].
Он предостерегал от безоговорочного доверия автоматизированным программным решениям, которые не понимает пользователь, проводя аналогию с туристом, ищущим дорогу по случайному выбору направлений[20].
Один из ранних примеров алгоритмической предвзятости — система отбора претендентов в медицинскую школу St George’s Hospital (Великобритания, 1982—1986). Алгоритм отказывал женщинам и лицам с «иностранными» именами, транслируя уже существовавшие в статистике поступлений перекосы[21].
В последние годы при применении методов машинного обучения к реальным данным предвзятость становится особенно выраженной из‑за неравномерности распределения признаков в окружении. Так, системы распознавания лиц часто ошибаются в отношении представителей маргинализованных групп[22]; исследование 2018 года показало, что ошибки идентификации женщин с тёмной кожей достигают 35 % (против менее 1 % для светлокожих мужчин)[23].
Алгоритмические ошибки зачастую отражают не только технические, но и системные общественные неравенства. Критики, такие как Кэти О’Нил в книге «Оружие математического разрушения», отмечают: автоматизированные процессы могут укреплять социальные неравенства под видом объективности[24].
Современная критика и реакции
Даже хорошо спроектированные алгоритмы нередко проявляют предвзятость, скрытую из‑за сложности современных программ и команд, разрабатывающих отдельные компоненты[25]. Подобные ошибки могут создавать новые модели поведения пользователей или искажать существующие данные: например, алгоритмическое увеличение полицейского патрулирования в районе приводит к большему числу задержаний — вне зависимости от реальной криминогенной обстановки[26].
Решения алгоритмов могут восприниматься как более авторитетные по сравнению с решениями специалистов, это называется «алгоритмическим авторитетом»[27].
Параллельно, из‑за роста зависимости от программ принято рассматривать алгоритмы как способ делегирования ответственности, что порой снижает разнообразие мнений и гибкость решений[28]. Социолог Скотт Лэш считал алгоритмы новым источником «генеративной власти», то есть средством формировать поведение человека[29].
Обсуждаются также случаи «избирательного доверия» к алгоритму: люди склонны принимать только те рекомендации программы, которые совпадают с их предустановленными взглядами, тем самым поддерживая свои собственные предубеждения[30].
Проблемы влияния алгоритмов на общество побудили крупные ИТ-компании создавать рабочие группы по вопросам справедливости, прозрачности и ответственности в машинном обучении[31]. Однако критики отмечают конфликт интересов, ведь многие инициативы финансируются компаниями-разработчиками самих алгоритмов[32].
Рамочные документы NIST по управлению рисками ИИ (2024) дают практические рекомендации по управлению и измерению уменьшения предвзятости[33].