Механистическая интерпретируемость

Термин «механистическая интерпретируемость» был предложен Крисом Олой (Chris Olah)^[2]. Ранние работы сочетали различные методы, такие как визуализация признаков, понижение размерности и атрибуция с методами человеко-компьютерного взаимодействия для анализа моделей, например, модели компьютерного зрения Inception v1^[3]. В дальнейшем, в 2020 году вышла статья «Zoom In: An Introduction to Circuits», в которой предлагалась аналогия между компонентами нейронных сетей и биологическими нейронными контурами^[4].

В последние годы механистическая интерпретируемость стала особенно актуальна в связи с изучением больших языковых моделей (LLM, large language models) и архитектур трансформеров. Область бурно развивается: проводятся специализированные мероприятия, например, тематический воркшоп «Mechanistic Interpretability Workshop» на ICML 2024^[5].

Механистическая интерпретируемость направлена на выявление структур, контуров и алгоритмов, закодированных в весах моделей машинного обучения^[6]. Это отличается от более ранних методов интерпретации, сосредоточенных в основном на объяснениях вход–выход.

В литературе представлены различные определения термина: от узкоспециальных (изучение причинно-следственных механизмов внутри нейронных сетей) до широких культурных, охватывающих разные направления исследований объяснимого ИИ^[2].

Данная гипотеза утверждает, что высокоуровневые понятия кодируются как линейные направления в пространстве активаций нейронных сетей. Эмпирические данные, полученные на векторных представлениях слов, а также более поздние исследования подтверждают это предположение, хотя оно не универсально^[7][8].

Суперпозиция описывает механизм, при котором нейронная сеть может одновременно представлять множество несвязанных признаков в одних и тех же нейронах или подпространствах, что приводит к плотному и перекрывающемуся кодированию признаков^[9].

Пробирование (от англ. probing) заключается в обучении простых классификаторов на активациях нейронной сети для проверки, действительно ли определённые признаки закодированы внутри сети^[1].

В механистической интерпретируемости применяются причинно-следственные методы для выяснения, как внутренние компоненты модели влияют на выходные данные, часто с использованием формального аппарата теории причинности^[10].

Методы такие, как обучение разреженным словарям и разреженные автокодировщики, позволяют отделять сложные перекрывающиеся признаки посредством получения интерпретируемых разреженных представлений^[11].

Механистическая интерпретируемость считается ключевой в области безопасности искусственного интеллекта, поскольку позволяет понять и верифицировать поведение всё более сложных ИИ-систем. Она способствует идентификации потенциальных рисков и повышает прозрачность^[12].