Нейронная сеть с обратной связью

Проводится анализ и критика первичного вывода отдельно после факта; чаще всего заключается в том, что модель с помощью дополнительных промптов ищет ошибки или предлагает улучшения уже сгенерированного ответа. Такой подход реализуется, например, во фреймворке Reflexion^[9]. Среди современных фреймворков и архитектурных подходов для анализа и критики вывода выделяются CyberCorrect и LangGraph. CyberCorrect формализует самокоррекцию как замкнутую систему управления, включающую тримодальный детектор ошибок, контроллер коррекции, судью сходимости и механизм отката^[10]. LangGraph применяется для реализации многофазной многоагентной рефлексии, в которой агенты-генераторы и критики имеют противоположные цели, а критик получает доступ к внешним данным для проверки фактов^[11]. Для верификации и повышения точности ответов в циклы обратной связи могут интегрироваться внешние инструменты через API, такие как Wolfram Alpha для сложных вычислений, Google SERPer для веб-поиска, а также ArXiv, OpenWeatherMap и Google Calendar^[12].

Позволяет динамически корректировать ранее сгенерированные части ответа уже в процессе генерации. Механизмы самоконтроля дают модели возможность пересматривать ход рассуждения по мере продвижения. Примером могут служить методы типа Tree-of-Thoughts, позволяющие возвращаться к альтернативным ветвям поиска. Развитие идей скрытых цепочек рассуждений привело к созданию архитектуры Fast Quiet-STaR, которая позволяет генерировать скрытые цепочки рассуждений без дополнительных задержек на этапе вывода. Примерами моделей, использующих этот подход, являются Mistral 7B и Qwen2.5 7B^[13].

Встраивает самоконтроль непосредственно в архитектуру самой модели, а не только через внешние промпты, тем самым формируя у модели внутреннее представление об ограничениях собственных рассуждений и уровне достоверности. Такой метод был применён в Google DeepMind в технике Self-Correction via Reinforcement Learning (SCoRe): модель поощряется за улучшение собственных ответов^[14]. Развитием подходов, аналогичных SCoRe, стал метод SIA (Self Improving AI). Его ключевым отличием является использование агента обратной связи, который динамически обновляет веса модели на основе результатов выполнения задач с помощью методов обучения с подкреплением (RL) и адаптеров LoRA^[15].

В ранних исследованиях применялись process reward models (PRM), которые предоставляют обратную связь по каждому шагу рассуждения, в отличие от классического обучения с подкреплением, при котором вознаграждается только финальный результат. Однако PRM имеют ограничения, связанные с вычислительной затратностью и уязвимостью к reward hacking. Разработчики DeepSeek-R1, например, пришли к выводу об их низкой эффективности^[16][17].

Для борьбы с ложными вознаграждениями (reward hacking) и повышения надёжности оценки промежуточных шагов были разработаны новые подходы к автоматической верификации. Среди них выделяется метод причинно-следственной корректировки CRA (Causal Reward Adjustment), который использует разреженные автоэнкодеры для выявления семантики, вызывающей ложные вознаграждения, и устранения её влияния^[18]. Подход PURE (Process sUpervised Reinforcement lEarning) определяет функцию ценности как минимум будущих вознаграждений, что предотвращает эксплуатацию моделью отдельных высоко оценённых шагов^[19]. В моделях VPRM (Verifiable Process Reward Models) непрозрачные нейронные оценки заменяются на детерминированные верификаторы, основанные на правилах, что позволяет программно проверять логику каждого шага^[20]. Кроме того, применяются методы наложения штрафов при резком падении качества (PS-GRPO), алгоритмы динамического вычисления весов доверия к сигналам PRM (Trust-GRPO), а также использование эталонных решений и стратифицированных рубрик (ContextRL и RuCL)^[21].