Право на объяснение

Маргот Э. Камински подробно изучала вопросы алгоритмической ответственности и права на объяснение. В своей статье «The Right to Explanation, Explained» Камински утверждает, что право на объяснение важно, поскольку позволяет людям понять, каким образом принимаются алгоритмические решения, и оспаривать их, если они несправедливы либо дискриминационны. Она отмечает, что алгоритмическое принятие решений может быть непрозрачным, сложным и подверженным ошибкам, предвзятости и дискриминации, что может иметь серьёзные последствия для людей в областях кредита, занятости и образования^[3].

Одним из ключевых преимуществ права на объяснение является повышение прозрачности автоматизированных процедур принятия решений. Право на объяснение может помочь решить проблемы, описанные Камински, объясняя гражданам, каким образом было принято то или иное решение, что способствует росту доверия к автоматизированным системам^[4]. Прозрачность автоматизированных систем обеспечивает возможность человеческого надзора и вмешательства при необходимости, гарантируя, что решения принимаются в соответствии с человеческими ценностями и ожиданиями^[5]. Такая прозрачность упрощает соблюдение правовых требований и позволяет организациям избежать возможных судебных исков^[6], а также помогает доказать соответствие нормативным актам и рекомендациям^[7].

Другим преимуществом является повышение ответственности. Требуя объяснений от автоматизированных систем принятия решений, можно добиться ответственности как систем, так и их создателей за ошибки или нарушения в процессе принятия решений, что снижает вероятность недобросовестного использования алгоритмов в дискриминационных целях^[8].

Право на объяснение выгодно и для компаний — в таких сферах, как медицина, финансы и право, оно помогает снизить риск ошибочных либо предвзятых прогнозов^[9][10]. Прозрачные алгоритмы позволяют разработчикам систем получать регулярную обратную связь и повышать качество работы^[11], а также стимулируют развитие новых технологий и таких направлений, как объяснимый ИИ^[5].

С другой стороны, критики утверждают, что «право на объяснение» в лучшем случае избыточно, а в худшем — вредно, поскольку может затормозить инновации. Критика включает в себя предпочтение человеческих решений машинным, избыточность по отношению к уже существующим законам и акцент на процедуре вместо результата^[12].

В исследовании «Slave to the Algorithm? Why a 'Right to an Explanation' Is Probably Not the Remedy You Are Looking For» (Лилиан Эдвардс и Майкл Вил) утверждается, что право на объяснение не решает проблемы ущерба от алгоритмических решений. Также отмечается, что это право в Общем регламенте по защите данных (GDPR) трактуется очень узко и плохо согласуется с особенностями современных технологий машинного обучения. При этом простое раскрытие исходного кода алгоритма не решает проблему и может породить вопросы о приватности или безопасности. Авторы предлагают использовать систему внешнего аудита, при которой аудиторы анализируют входные данные и выходы системы, «объясняя чёрный ящик, не открывая его»^[13].

На более глубоком уровне многие алгоритмы машинного обучения с трудом поддаются объяснению. Например, результаты глубокой нейронной сети зависят от множества сложных взаимосвязанных слоёв, и зачастую ни один из факторов не является доминирующим. Область объяснимого ИИ занимается разработкой алгоритмов, которые могут быть более прозрачными, однако эта научная область ещё только формируется^[14][15].

Аналогично, человеческие решения также могут быть трудны для объяснения: зачастую они основаны на интуиции или «чутьё», которые сложно выразить словами. Можно утверждать, что к автоматическим системам не должны предъявляться более строгие требования, чем к людям.

Другая точка зрения указывает, что проблема объяснимости во многом обусловлена техническим подходом и недостаточным вниманием к более широким социальным целям, связанным с «социальным правом на объяснение»^[16].

Эдвардс и Вил предлагают использовать два типа объяснений для описания алгоритмических решений: объяснения, ориентированные на модель, и объяснения, ориентированные на субъект (SCE — кратко от англ. subject-centric explanations). Последние могут быть особенно эффективны при решении конкретных задач, хотя они ограничены в ситуации с весьма сложными данными. Их подход предполагает декомпозицию общей модели и фокусировку на отдельных вопросах, с использованием педагогических объяснений в ответ на конкретный запрос — «реальный, вымышленный или исследовательский». Такие объяснения требуют определённого компромисса между точностью и сложностью.

С ростом интереса к объяснениям автоматизированных систем в области дизайна взаимодействия человека и компьютера, исследователи стремятся сделать чёрный ящик моделей математически интерпретируемым и приближённым к реальным потребностям пользователей. Альтернативный путь — дать пользователям возможность самостоятельно исследовать поведение системы через интерактивные объяснения.

Одно из предложений Эдвардс и Вила — частично отказаться от чрезмерной прозрачности как ключевого условия для обеспечения ответственности и реституции вреда. Авторы подчёркивают, что люди, сталкивающиеся с проблемами защиты данных, нуждаются скорее в конкретном действии, нежели в объяснении. Реальная ценность объяснения заключается не столько в компенсации морального или экономического вреда, сколько в понимании причин произошедшего и обеспечении предотвращения аналогичных ошибок в будущем^[13].

В рамках исследования «Explainable machine learning in deployment» его авторы рекомендуют создавать интерпретируемые модели с чёткими критериями отбора, идентифицировать заинтересованные стороны, взаимодействовать с ними и уточнять назначение объяснения. Кроме того, следует учитывать такие аспекты, как причинность, приватность и повышение производительности системы^[17].

Общий регламент по защите данных (GDPR), статья 22 предусматривает, что субъекты персональных данных имеют право не быть объектом решения, основанного исключительно на автоматизированной обработке данных, включая профилирование, если это решение оказывает на них юридически значимое влияние либо существенно затрагивает их права и интересы. Однако из этого правила существуют исключения — например, если обработка необходима для исполнения договора, разрешена законодательством Евросоюза или его государств-членов, либо происходит с явно выраженного согласия субъекта^[18].

Также источником права на объяснение считается статья 15 GDPR, устанавливающая обязанность предоставлять «значимую информацию о логике, используемой при автоматизированной обработке», а также сведения о значении и предполагаемых последствиях таких решений. Это называют «правом быть информированным»^[19].

Тем не менее, вокруг правового статуса права на объяснение в GDPR ведутся дебаты^[20]. Главным образом это связано с неопределённостью в формулировках и юридических нюансах. Хотя право на объяснение ассоциируется со статьёй 22 GDPR, прямо оно не прописано в нормативном тексте, так как соответствующая формулировка была удалена на этапе законотворческого процесса^[19].

Оксфордские исследователи Брайс Гудман и Сет Флекcман утверждают, что GDPR предусматривает «право на объяснение», но отмечают значительные ограничения такого права. А. Д. Зельбст и Дж. Пауэлс полагают, что дебаты должны фокусироваться не столько на термине, сколько на подробном анализе реальных требований регламента и их соотнесении с его целями^[21].

Существуют существенные ограничения и по применимости: право распространяется только на решения, основанные «исключительно» на автоматизированной обработке и приводящие к юридически значимым или сопоставимым последствиям, что сужает круг реально затрагиваемых кейсов^[13]. В частности, право на объяснение редко применимо к самым громким случаям алгоритмических споров, обсуждавшихся в СМИ.

Согласно Закону о равной кредитной возможности (Регламент B Кодекса федеральных нормативных актов, раздел 12, часть 1002)^[22], кредиторы обязаны сообщать заявителям, получившим отказ по кредиту, конкретные причины отказа. Как указано в § 1002.9(b)(2):

Официальные разъяснения этого положения регламентируют допустимые формулировки. Обычно кредиторы предоставляют список причин (до четырёх), где каждому пункту присвоен номер кода и пояснение, какие именно факторы повлияли на кредитный рейтинг^[23]. Пример:

32: Балансы на банковских картах или текущих счетах слишком высоки по сравнению с кредитными лимитами.

В Китае право на объяснение закреплено в Закон о защите персональных данных (принят в августе 2021 года)^[24]. Закон ограничивает полномочия онлайн-платформ при автоматизированных решениях на основе алгоритмов и расширяет права пользователей на получение информации о результатах таких решений и объяснений по конкретным случаям^[8]. Существуют исключения — например, запрет раскрывать объяснения, если это связано с государственными секретами или коммерческой тайной^[25].

Во Франции закон о цифровой республике (Loi pour une République numérique, 2016) внёс поправки в административный кодекс, обязав органы государственного сектора предоставлять по запросу объяснения решений, принятых с помощью алгоритмов^[26]. В частности, должны разглашаться:

1. степень и способ участия алгоритмической обработки в принятии решения;
2. используемые и источники данных;
3. параметры алгоритма и их вес, применяемые к ситуации заявителя;
4. операции, выполненные с данными.

Исследователи отмечают, что это право ограничено административными решениями, но в ряде аспектов идёт дальше требований GDPR, распространяясь на любую поддержку принятия решений и предусматривая специальные процедуры объяснения^[26]. Исторически подход к автоматизированным решениям в ЕС восходит к французскому законодательству конца 1970-х годов^[27].

В Канаде граждане имеют право на «разумное и понятное» объяснение административных решений, принятых государственными системами автоматизированного принятия решений^[28]. Директива Казначейства Канады о принятии автоматизированных решений направлена на регулирование их ответственного использования, обеспечение эффективности, точности и согласованности, а также минимизацию правовых и технических рисков. Предусматривается обязательная оценка воздействия алгоритмов и сохранение права на доступ к системам и их тестирование^[29].

В Республике Корея гражданам предоставляются права и гарантии справедливости и прозрачности принятия решений, основанных исключительно на автоматизированной обработке или профилировании^[30]. Закон о защите персональных данных (PIPA) предоставляет субъектам право отклонять, возражать и требовать объяснения решений, принятых полностью автоматизированными средствами^[31].