Доверенный искусственный интеллект

Понятие «доверенный искусственный интеллект» возникло в результате деятельности «Европейской группы по этике в науке и новых технологиях» — консультативного органа Европейской комиссии. В 2019 году этот термин появился в документах «Группы независимых экспертов высокого уровня по вопросам искусственного интеллекта» (AI HLEG), сформированной Комиссией с целью направления европейской стратегии в области ИИ^[1][2].

В 2019 году AI HLEG выпустила сборник рекомендаций под названием «Этические принципы для доверенного искусственного интеллекта»^[3], где были подробно изложены составляющие доверенного искусственного интеллекта, а в 2020 году — итоговую версию самооценочного опросника для оценки доверия к ИИ^[4], разработанного коллективом специалистов. В рекомендациях подчёркивается, что «в условиях быстрого технологического развития крайне важно, чтобы доверие оставалось цементом для общества, сообществ, экономики и устойчивого развития… Надёжность — необходимое условие для разработки, внедрения и использования ИИ. Если системы ИИ не будут демонстрировать свою надёжность, они и их разработчики могут привести к нежелательным последствиям, что подорвёт доверие и воспрепятствует реализации потенциальных социальных и экономических выгод».

Вопрос доверенного ИИ связывается с управленческими аспектами, рисками и возможностями для бизнеса, госуправления и гражданского общества^[5].

Группа независимых экспертов высокого уровня по вопросам искусственного интеллекта (AI HLEG) опубликовала 8 апреля 2019 года свой первый официальный документ^[3], озаглавленный «Этические принципы для доверенного искусственного интеллекта». Документ не является нормативным актом или стандартом, а предлагает классификацию и рамки для доверенного ИИ (первая версия от 18 декабря 2018 года находилась на общественном обсуждении, получив более 500 отзывов). В основе рекомендаций лежат основные права^[6], такие как уважение человеческого достоинства, недискриминация, права на защиту данных и частную жизнь. Документ выделяет семь основных «ключевых требований», описывает методы (как технические, так и нетехнические), а также приводит примеры актуальных и потенциальных проблем, связанных с использованием ИИ, и предлагает пилотную версию инструмента для самооценки доверия к ИИ. При этом авторы подчёркивают необходимость пропорционального управления рисками ИИ по трём столпам: законность (соответствие закону), этичность (соблюдение фундаментальных принципов) и надёжность (предотвращение непреднамеренного вреда). Также подчёркивается важность инновационности ИИ при условии соблюдения основных прав, демократии и правового государства^[7].

Второй доклад группы вышел в 2019 году — «Рекомендации по политике и инвестициям для доверенного искусственного интеллекта»^[8], где рассматривается вклад доверенного ИИ в европейское развитие и используемые для этого механизмы.

В 2020 году опубликован третий документ — «ALTAI: Список критериев для самооценки доверенного искусственного интеллекта»^[4], подготовленный при участии 350 экспертов. Эта консультативная (и постоянно дорабатываемая) инструкция рассчитана на всех участников проектов ИИ: разработчиков, системных инженеров, специалистов по данным, специалистов по закупкам, пользователей, тестировщиков, аудиторов, интеграторов, менеджеров, технических специалистов, юристов и др. Документ охватывает оценку рисков и возможностей для всех этапов жизненного цикла ИИ (разработка, прототипирование, тестирование, внедрение, эксплуатация, сопровождение и вывод из эксплуатации), с целью проверки соответствия принципам доверенного ИИ, сформулированным в первых рекомендациях. Существует также пилотная веб-версия опросника для онлайн-оценки.

В четвёртом (2023) докладе — «Секторальные аспекты политики и инвестиций для доверенного искусственного интеллекта»^[9] — рассмотрены внедрение доверенного ИИ в государственном секторе, здравоохранении, промышленности и интернете вещей (IoT).

По представлению экспертов Европейской комиссии, «доверенный искусственный интеллект» должен обладать тремя характеристиками: быть законным (соответствовать правовым нормам), этичным (отвечать этическим принципам) и надёжным (надёжным технически и социально). Правовые аспекты не рассматриваются в указанных документах комиссии, которые фокусируются на двух последних характеристиках^[3]. Вопросы законодательства регулируются отдельным правовым актом о ИИ.

Этичность и надёжность предполагают соблюдение четырёх базовых этических принципов, соответствующих основным правам: уважение к человеческой автономии, предотвращение любого вреда, справедливость, объяснимость.

Эти четыре ключевых этических принципа далее конкретизируются в виде семи ключевых требований:

• человеческое участие и контроль;
• техническая надёжность и безопасность;
• уважение частной жизни и управление данными;
• прозрачность;
• разнообразие, недискриминация и справедливость;
• общественное и экологическое благо;
• ответственность.

Перечисленные требования — обобщённые и частично совпадают с набором понятий, встречающихся в основных международных руководствах по этике ИИ (например, рекомендации ОЭСР^[10], AFNOR^[11], IEEE^[12] и др.).

Каждое из ключевых требований раскрывается через 23 под-требования, уточняющие и конкретизирующие рамки:

1. Человеческое участие и контроль
   • основные права
   • автономия человека.
2. Техническая надёжность и безопасность
   • устойчивость к атакам и безопасность
   • аварийные планы и общая безопасность
   • точность
   • надёжность
   • воспроизводимость.
3. Уважение частной жизни и управление данными
   • качество и целостность данных
   • доступ к данным.
4. Прозрачность
   • отслеживаемость
   • объяснимость
   • коммуникация.
5. Недискриминация, справедливость и разнообразие
   • отсутствие необоснованных предвзятостей
   • доступность и универсальный дизайн
   • участие заинтересованных сторон.
6. Общественное и экологическое благо
   • устойчивость (или развитие с учётом экологии)
   • бережливость
   • социальное воздействие
   • общество
   • демократия.
7. Ответственность (социальная и общественная)
   • возможность аудита
   • минимизация негативных эффектов и информирование о них
   • оценка и устранение конфликтов интересов.

(*) Термин «устойчивость» соответствует английскому англ. sustainability и может также переводиться как «развитие, учитывающее экологическую устойчивость» (или иначе — «сустейнабилити»).

Каждое под-требование далее раскрывается набором конкретных индикаторов: например, даётся определение «необоснованного предвзятости», критерии объяснимости, методы оценки рисков и возможностей ИИ для человека, демократии, в контексте трансгуманизма, или автономных вооружённых систем.

Все перечисленные аспекты в той или иной степени рассмотрены в руководстве экспертов Европейской комиссии^[3], а в отдельном документе — предложены методики их проверки на каждом этапе жизненного цикла^[4].

Когда между характеристиками, принципами, ключевыми требованиями или способами реализации доверенного ИИ возникают противоречия, они должны быть явно обозначены, оценены и согласованы заинтересованными сторонами^[3].

На уровне государства поддерживаются надёжность и устойчивость систем ИИ, в том числе для военных и стратегических задач — особенно в противодействии атакам и манипуляциям с данными^[13]. Так, в мае 2025 года Командование киберобороны (COMCYBER) и Агентство оборонных инноваций (AID) объявили конкурс «Безопасность ИИ», победителями которого стали две разработки:

• PRISM Eval — стартап, специализирующийся на анализе поведенческих отклонений моделей ИИ. Его инструмент BET Eval (Behavior Elicitation Tool) тестирует устойчивость больших языковых моделей к семантическим и контекстуальным атакам (тонкая манипуляция контекстом или смыслом данных с целью ввести ИИ или пользователя в заблуждение через когнитивные искажения или эксплуатацию уязвимостей обработки информации), оценивая их уязвимость к prompt-инъекциям и обходу защит^[13].
• CEA-List — инструмент для защиты моделей визуальной классификации, основанный на PyRAT и PARTICUL: формальная верификация нейронных сетей и определение аномалий в датасетах, что уменьшает риски злонамеренного воздействия^[13].