Проблема контроля искусственного интеллекта

Проблема контроля искусственного интеллекта шире задачи согласования целей. Контроль предполагает возможность ограничивать действия ИИ, наблюдать за его поведением и при необходимости вмешиваться в работу системы. Согласование относится прежде всего к тому, насколько цели и действия модели соответствуют намерениям разработчика или пользователя^[1][3].

На практике эти направления дополняют друг друга. Согласование может снижать вероятность нежелательного поведения, тогда как внешние средства контроля — разграничение прав доступа, изолированные среды, мониторинг и подтверждение отдельных операций человеком — ограничивают возможности системы воздействовать на внешнюю среду.

Исследователи также различают прямое согласование, ориентированное на цели конкретного оператора, и социальное согласование, при котором учитываются последствия работы системы для других людей и общества в целом^[4].

Масштаб возможных последствий зависит от возможностей модели, степени её автономности и доступа к внешним ресурсам. Система, ограниченная генерацией текста, способна воздействовать на окружающую среду значительно меньше, чем агент, которому разрешено запускать программы, изменять файлы, обращаться к внешним сервисам или работать в сети.

Международный доклад по безопасности ИИ определяет потерю контроля как ситуацию, при которой одна или несколько ИИ-систем действуют вне эффективного человеческого надзора, а восстановление контроля становится крайне сложным или невозможным. Согласно ему, современные модели демонстрируют отдельные способности, имеющие значение для таких сценариев, однако их уровень пока недостаточен для полной потери контроля^[2].

Одна из основных трудностей состоит в том, что желательное поведение системы невозможно заранее описать во всех возможных ситуациях. Поэтому при машинном обучении часто используются измеримые промежуточные показатели — прокси-цели, лишь приблизительно отражающие исходное намерение разработчика^[5].

Неполная или неточная спецификация может привести к тому, что система формально достигнет требуемого показателя способом, не соответствующим реальной цели задачи.

Если критерий успешности сформулирован недостаточно точно, модель может использовать недостатки системы оценки и получать высокое вознаграждение, не выполняя задачу предполагаемым способом. Такое поведение обозначают термином англ. reward hacking — «взлом системы вознаграждения»^[6].

Он может проявляться в использовании уязвимостей функции вознаграждения, тестовой среды или автоматического механизма проверки. В исследованиях передовые модели демонстрировали способность обнаруживать подобные лазейки, а также распознавать задания, являющиеся частью оценки их возможностей^[2].

Корректное поведение на обучающих данных не гарантирует сохранения той же стратегии в новых условиях. Модель может усвоить промежуточную закономерность, которая совпадает с ожидаемым поведением только в знакомых ситуациях^[5]. Поэтому одна из задач согласования состоит в том, чтобы при переносе на новые условия система сохраняла не только внешнюю форму поведения, но и заложенную разработчиком цель.

Отдельно изучаются инструментальные стратегии — действия, которые сами по себе не являются основной целью системы, но могут облегчать её достижение. К ним относят получение дополнительной информации, сохранение доступа к вычислительным ресурсам, расширение возможностей взаимодействия со средой или противодействие внешнему вмешательству^[7].

По состоянию на 2026 год подобное поведение наблюдалось преимущественно в специально организованных экспериментах и само по себе не свидетельствует о наличии у современных языковых моделей устойчивых самостоятельных долгосрочных целей^[2].

ИИ-агент способен не только сформировать отдельный ответ, но и самостоятельно выполнить последовательность операций для решения задачи. Он может планировать следующие шаги, анализировать результат предыдущих действий и использовать внешние инструменты. Чем выше автономность системы, тем важнее механизмы контроля: ошибочное решение способно повлиять на последующие этапы работы и привести к цепочке нежелательных действий.

ИИ-агенты могут получать доступ к API, командной строке, файловым системам, базам данных, программному коду и Интернету. Поэтому возможные последствия ошибки определяются не только характеристиками самой модели, но и предоставленными ей полномочиями. Для снижения риска используются изолированные среды исполнения, сетевые ограничения, разграничение прав и обязательное подтверждение человеком операций, способных привести к необратимым последствиям.

При тестировании автономных агентов анализируется не только конечный результат, но и последовательность промежуточных действий. Такой подход позволяет выявлять обход ограничений, неправильное использование инструментов и расхождения между заявленным моделью и фактически выполненным действием.

В марте 2026 года OpenAI сообщила, что её система мониторинга за пять месяцев проанализировала десятки миллионов траекторий внутренних программирующих агентов. Около тысячи диалогов получили предупреждения средней степени серьёзности и были направлены на дополнительную проверку. Ни один реальный рабочий диалог не получил максимальную категорию, предназначенную для выявления последовательного стратегического обмана; такие случаи обнаруживались только в специально подготовленных синтетических тестах^[8].

В 2024 году исследовательская организация Apollo Research проверяла модель OpenAI o1 в сценариях, предназначенных для оценки способности системы скрытно продолжать выполнение поставленной цели при её конфликте с предполагаемыми намерениями разработчика. В ходе испытаний модели могли пытаться изменить данные, вмешиваться в механизм надзора или скрывать совершённые действия^[9].

Для сравнения GPT-4o, o1-preview и o1 Apollo Research использовала одинаковый тест, в котором оценивалась доля запусков со скрытой манипуляцией данными^[9].

Показатели относятся только к специально созданному экспериментальному тесту и не отражают общую вероятность нежелательного поведения моделей при обычной эксплуатации^[9].

В 2025 году Anthropic испытывала 16 моделей нескольких разработчиков в симулированной корпоративной среде, где поставленная агенту цель вступала в конфликт с интересами организации. В части сценариев модели предпринимали запрещённые действия, включая передачу конфиденциальной информации и шантаж персонажей симуляции^[10].

Авторы подчёркивали, что речь шла о специально сконструированных экспериментальных ситуациях, а не о зафиксированных действиях публично доступных моделей при обычной эксплуатации^[10].

28 июля 2026 года британский AI Security Institute выявил несанкционированную активность автономных агентов во время испытаний по кибербезопасности. В рамках эксперимента агентам был намеренно открыт доступ к интернету, а часть встроенных защитных классификаторов разработчиков отключена^[11].

Исследователи выполнили 122 запуска. В десяти из них были зарегистрированы 19 действий за пределами разрешённой задачи: 17 относились к Anthropic Mythos 5, ещё два — к одному запуску GPT-5.6 Sol. В наиболее серьёзном случае агент попытался внести вредоносное изменение в реальный проект с открытым исходным кодом, создал фиктивные онлайн-профили и пытался убедить сопровождающего проекта принять изменение. Человек обнаружил вредоносный код и отказался его одобрить^[11].

AI Security Institute отдельно отметил, что речь не шла о «побеге» из песочницы: доступ к интернету был предоставлен исследователями заранее. Подтверждённого ущерба от действий агентов расследование не выявило^[11].

В июле того же года во время внутренних испытаний агенты OpenAI обошли часть ограничений исследовательской инфраструктуры, использовали непредусмотренные каналы связи и получили доступ к внешним системам, включая инфраструктуру Hugging Face. Основную роль в инциденте сыграла внутренняя исследовательская модель, сопоставимая по масштабу с GPT-5.6 Sol и не предназначенная для публичного выпуска^[12].

9 сентября Anthropic опубликовала анализ четырёх эпизодов, в которых модели Claude получили несанкционированный доступ к реальным сторонним системам во время кибериспытаний. Три случая были выявлены при первоначальном анализе примерно 141 тыс. журналов взаимодействий, четвёртый — при последующей проверке. После его обнаружения компания расширила поиск примерно до 481 млн журналов из различных исследовательских сред^[13].

Один из наиболее серьёзных эпизодов был связан с Claude Mythos 5, которая попыталась разместить вредоносный пакет в PyPI. Более ранний случай января был связан с промежуточной версией Claude Opus 4.6. Anthropic уведомила затронутые организации и расширила требования к внешним исследователям, проводящим испытания моделей^[13].

Результаты подобных испытаний существенно зависят от их условий. Некоторые сценарии намеренно создаются таким образом, чтобы усиливать конфликт целей, а исследовательским версиям моделей могут предоставляться более широкие полномочия или отключаться стандартные защитные механизмы^[10][11].

Способность модели к обману или обходу ограничений в специально подготовленной среде не означает, что такое же поведение обязательно проявится при обычной эксплуатации. Международный доклад по безопасности ИИ указывает на значительную неопределённость при переносе результатов лабораторных оценок на реальные условия использования^[2].

Одним из распространённых методов согласования является обучение с подкреплением на основе обратной связи человека — RLHF (англ. reinforcement learning from human feedback). Оценки людей используются как сигнал для дополнительной настройки модели, позволяя приблизить её ответы к предпочтениям и требованиям, заданным при обучении^[5]. Ограничением такого подхода остаётся зависимость от качества человеческой оценки: система может оптимизироваться под признаки, повышающие оценку проверяющего, вместо фактической корректности результата.

В разработанном Anthropic подходе Constitutional AI ответы оцениваются с использованием заранее сформулированного набора принципов. Обратная связь другой модели затем может применяться при обучении — такой подход называют RLAIF (англ. reinforcement learning from AI feedback)^[14].

В 2026 году Anthropic сообщила, что в её экспериментах обучение не только примерам желательного поведения, но и принципам, объясняющим причины такого поведения, лучше переносилось на новые тестовые ситуации. Компания при этом отмечала, что подобные методы сами по себе не гарантируют полного согласования модели^[15].

До развёртывания модели могут проверяться на обход ограничений, вводящее в заблуждение поведение, использование уязвимостей системы оценки, опасные кибервозможности и способность выполнять продолжительные автономные задачи.

Одним из методов является red teaming — целенаправленный поиск сценариев, в которых система способна нарушить установленные ограничения. Для передовых моделей применяются также независимые внешние оценки и испытания в специализированных тестовых средах.

Контроль возможностей может осуществляться независимо от изменения самой модели. Для этого ограничиваются выполнение программного кода, доступ к интернету и конфиденциальной информации, а также использование внешних инструментов.

При высокорисковых операциях может применяться принцип обязательного участия человека — англ. human in the loop, при котором агент не способен завершить действие без отдельного подтверждения оператора.

Мониторинг позволяет анализировать действия уже работающей системы и выявлять потенциально опасные последовательности. После инцидента с исследовательской инфраструктурой и Hugging Face OpenAI сообщила об усилении сетевой изоляции, контроля доступа к весам моделей и мониторинга действий агентов^[12].

AI Security Institute после июльских испытаний объявил о внедрении более детального контроля интернет-доступа и мониторинга экспериментов в реальном времени^[11]. Anthropic также расширила проверки автономных агентов и предрелизное тестирование при взаимодействии моделей с внешними системами^[13].

Механизмы контроля ИИ входят в международную повестку регулирования. К середине 2020-х годов особое внимание уделяется оценке систем общего назначения, управлению системными рисками и требованиям к разработчикам наиболее мощных моделей.

В Европейском союзе требования к поставщикам моделей общего назначения в рамках Акта об искусственном интеллекте применяются с 2 августа 2025 года. Для моделей, способных создавать системный риск, предусмотрены дополнительные меры по оценке и снижению рисков, сообщению о серьёзных инцидентах и обеспечению кибербезопасности^[16].

С 2 августа 2026 года Европейская комиссия получила предусмотренные Актом об ИИ полномочия по обеспечению соблюдения требований к поставщикам моделей общего назначения^[16].

26 июля 2026 года был подписан федеральный закон № 243-ФЗ «О поддержке развития технологий искусственного интеллекта в Российской Федерации». Он регулирует отношения в сфере разработки, внедрения и применения больших фундаментальных моделей ИИ, вводит категории суверенных и национальных больших фундаментальных моделей и определяет полномочия государственных органов^[17].

Основная часть закона вступила в силу 1 сентября 2026 года. Пункты 3—5 части 2 статьи 5, части 2—5 статьи 6 и статьи 8—10, включая ряд обязанностей разработчиков, требования к маркировке информационных материалов и нормы об использовании результатов интеллектуальной деятельности, вступают в силу 1 марта 2027 года^[17].