Алгоритмическая подотчётность
Алгоритми́ческая подотчётность — концепция в области информатики, согласно которой алгоритмические решения должны быть прозрачными и поддающимися контролю, особенно когда они оказывают существенное влияние на людей или группы людей[1].
Алгоритм определяется как конечная последовательность чётко определённых инструкций для выполнения конкретной задачи и служит основой для построения компьютерных программ. Изначально предполагается, что алгоритмы не должны допускать предвзятости при принятии решений — их задача заключается в оценке только существенных свойств входных данных, не обращая внимания на такие характеристики, как, например, этническая принадлежность человека при вынесении судебного решения.
Однако существует опасение, что этот принцип не всегда соблюдается, а отдельные люди могут быть умышленно поставлены в неблагоприятное положение вследствие работы подобных систем. Это вызывает дискуссию о том, кто несёт ответственность за ущерб, причинённый автоматизированными решениями: сама система или же программист, определивший используемые параметры[2].
Вопросы, связанные с анализом механизмов работы программных алгоритмов, внутренняя логика которых часто скрыта от широкой публики — так называемые «чёрные ящики», составляют предмет области, именуемой алгоритмической подотчётностью. Главная задача — понять процессы, происходящие внутри закрытых систем, чтобы общество могло осознать мотивы тех или иных автоматических действий. Поскольку алгоритм исполняет только то, что заложено его разработчиком, любое необъективное решение или ошибка анализа данных возникает вследствие особенностей проектирования этой вычислительной схемы.
Использование алгоритмов
Сегодня алгоритмы внедрены в самые разные сектора общества, где используются вычислительные и управляющие системы: от медицинских и транспортных услуг до платёжных систем[3]. Примеры задач, которые решаются приложениями на основе алгоритмов[4]:
- одобрение или отказ в предоставлении кредитных карт;
- подсчёт голосов на выборах;
- одобрение или отклонение виз для иммигрантов;
- определение налогоплательщиков для проверки деклараций;
- управление движением беспилотных автомобилей на дорогах;
- присваивание индивидам рейтинга возможной причастности к преступлениям для использования этих данных в будущем при судебном разбирательстве.
Архитектура и реализация алгоритмов зачастую остаются непрозрачными. Как правило, алгоритмы выступают как «чёрные ящики»: известно лишь, какие исходные данные подаются на вход и какой результат получается, но сам процесс обработки скрыт[5]. Неизвестны используемые параметры и степень их влияния на итоговые решения, что может вызывать подозрения в предвзятости работы системы, если похожие случаи приводят к разным результатам — особенно если отдельный пользователь посчитает себя ущемлённым.
Судебное дело Верховного суда штата Висконсин
Как отмечалось выше, алгоритмы используются в различных областях и могут оказывать влияние на жизни людей, при этом детали их построения и параметры часто неизвестны широкой общественности. Показательный случай произошёл по решению Верховного суда штата Висконсин (США) относительно так называемых «оценок риска» при рассмотрении уголовных дел[3]. Было постановлено, что такая оценка, получаемая с помощью алгоритма на основании разнообразных данных о человеке, не может использоваться в качестве решающего основания для вынесения приговора. Более того, суд обязал включать в отчёты для судей информацию о точности используемого алгоритма для расчёта этих баллов.
Это решение расценивается как шаг вперёд в вопросе об обращении с программным обеспечением, принимающим решения на основе данных. Использование алгоритмов в сложных областях, как заседания суда, требует максимальной объективности при оценке информации. В то время как сторонники «больших данных» (англ. Big Data) подчёркивают, что точность решений алгоритмов ещё требует значительных доработок, отсутствует единая методика понимания внутренних процессов их работы, что оставляет пространство для сомнений в корректности решений или в честности их разработчиков.
Проблемные аспекты
Ещё одним примером возможной алгоритмической предвзятости стал случай, описанный в газете The Washington Post[6], где анализировалась работа сервиса Uber. Было обнаружено, что среднее время ожидания поездки зависело от района проживания пользователя: оно было ниже в районах с преобладанием белого населения и более высоким достатком, и выше — в районах с иным этническим составом и меньшими доходами жителей. Подчёркивается, что это лишь корреляция данных, а не доказательство прямой причинно-следственной связи, и нельзя делать категорические выводы о работе приложения Uber лишь на основании этих наблюдений.
В публикации в рубрике Direito Digit@l издания Migalhas[7] Кориолано Алмейда Камаргу и Марсело Креспо обсуждают замену человеком принятия решений алгоритмами и связанные с этим сложности проверки того, были ли эти решения справедливы.
Современное развитие информационных технологий принесло целый ряд инноваций, в том числе появление автономных транспортных средств, в которых управление полностью осуществляется алгоритмами, анализирующими данные окружающей среды и текущий контекст для принятия мгновенных решений — имитируя действия человека. В том же материале Камаргу и Креспо затрагивают вопросы, возникающие при использовании алгоритмов в автопилоте машин, особенно в критических ситуациях.
Главной темой здесь становится дилемма выбора в случае неизбежной аварии: будут ли системы учитывать личные данные пассажиров для определения сценариев спасения, и какими критериями будет руководствоваться алгоритм? Кто несёт ответственность за последствия: сама машина или разработчик алгоритма, определяющий принятие решения? Поэтому поднимается вопрос о необходимости раскрытия кода и принципов работы таких систем для общественности. Но обычно производители объясняют сохранение «чёрного ящика» вопросами интеллектуальной собственности.
Возможные решения
Эксперты уже предложили ряд подходов к решению проблемы, связанной с закрытостью алгоритмических «чёрных ящиков». В первую очередь предлагается возложить на компании, создающие коды анализа данных, ответственность за прозрачность работы их систем — например, через публикацию принципов функционирования алгоритмов.
Одно из возможных решений — законодательное регулирование алгоритмов, контролирующих критические сферы, с обеспечением аудита их работы. Но подобное регулирование может негативно отразиться на индустрии программирования, поэтому производителям может быть выгоднее самим открыто информировать общественность о принципах работы систем и используемых параметрах для принятия решений, что может даже укрепить их репутацию и повысить доверие к продукту.
Другой возможный вариант — внедрение саморегулирования через программные средства и автоматизацию[8].