Стохастический попугай

Впервые термин появился в статье «On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜» Эмили Бендер, Тимнит Гебру (англ. Timnit Gebru), Анджелины Макмиллан-Мейджор и Маргарет Митчелл (в статье указана под псевдонимом Shmargaret Shmitchell)^[1]. В работе авторы отмечают риски, связанные с использованием БЯМ: экологические и финансовые издержки, непрозрачность работы, приводящая к неизвестным и опасным предвзятостям, возможность введения в заблуждение, а также неспособность к пониманию изучаемых концепций^[2].

Слово «стохастический» происходит из древнегреческого «στοχαστικός» (stokhastikos) — «основанный на предположениях», в теории вероятностей означает «определяемый случайным образом»^[3]. «Попугай» выбран как аллюзия на способность попугаев (англ. parrot) имитировать человеческую речь, не осознавая её смысла^[3].

В своей статье Бендер и соавторы утверждают, что БЯМ соединяют слова и предложения только с учётом вероятностных закономерностей, игнорируя смысл, и именно поэтому их сравнивают со «стохастическими попугаями».^[1]. Согласно исследователям Линдхолму, Вальстрому, Линдстену и Шьону, эта аналогия подчёркивает два ключевых ограничения БЯМ:^[4]

• БЯМ ограничены данными, на которых они обучались, и по сути стохастически воспроизводят содержимое обучающих наборов данных.
• Поскольку генерация ответа основана лишь на обучающих данных, БЯМ не способны понять, ошибочен или неуместен ли их ответ.

Линдхолм и др. отмечают, что при некачественных данных и других ограничениях машина может выдавать «опасно ошибочные» результаты.

Google потребовала от Гебру отозвать статью или убрать из неё имена сотрудников компании. По словам Джеффа Дина, статья «не соответствовала стандартам публикации». В ответ Гебру выдвинула условия, в том числе раскрытие имён и отзывов рецензентов, что Google отклонила; вскоре ей сообщили, что компания принимает её уход. Это событие вызвало протест среди сотрудников, сочтя, что Google пытается замолчать критику^[5].

«Стохастический попугай» — это неологизм, используемый критиками искусственного интеллекта для указания на то, что БЯМ не понимают смысла своих выходных данных. Достоверность такого утверждения является предметом спора (см. раздел Дискуссия). Термин несёт негативную коннотацию^[3]. Генеральный директор OpenAI Сэм Олтман употребил его в своем твите: «i am a stochastic parrot and so r u» («я — стохастический попугай, и вы тоже»). В 2023 году Американское диалектологическое общество назвало «stochastic parrot» «словом года», связанным с искусственным интеллектом^[6].

Некоторые современные БЯМ, такие как ChatGPT, способны вести общение, которое выглядит убедительно человеческим. Это усилило дискуссии о том, способны ли БЯМ действительно понимать язык или лишь «повторяют по шаблону».

Для человека слова и язык связаны с личным опытом^[7]. У БЯМ слова отражают лишь другие слова и статистические закономерности из обучающих данных^[8].

Сторонники концепции «стохастического попугая» считают, что БЯМ неспособны к истинному пониманию языка^[8].

Склонность БЯМ выдавать ложную информацию за факты используется как подтверждение этой гипотезы^[7]. Так называемые «галлюцинации» — это случаи, когда модель синтезирует содержание, совпадающее лишь с некоей статистической структурой, но не с реальным знанием^[8]. Такие модели иногда не различают факт и вымысел, а значит, не связывают свои суждения с пониманием мира как у человека^[7][8]. Кроме того, они могут не справляться с неоднозначными грамматическими случаями, когда требуется понимание значения^[8]. Например, в работе Сабы и соавторов приводится такой пример запроса:

Некоторые БЯМ отвечают утвердительно, не различая, что в первом случае «газета» — это предмет, а во втором — учреждение^[8]. Такие провалы используются для утверждения, что БЯМ — не более чем стохастические попугаи.

Одним из аргументов против гипотезы «стохастического попугая» являются результаты БЯМ на специализированных бенчмарках, предназначенных для оценки понимания языка и рассуждений. В 2023 году некоторые БЯМ показали высокие оценки по тестам вроде SuperGLUE^[9]. Модель GPT-4 набрала более 90 процентилей на едином экзамене по праву (Uniform Bar Examination) и показала 93% точности на олимпиадных математических задачах, превышая ожидания простого «повторения» паттернов^[10]. Подобные результаты, наряду с плавностью генерации текста, приводят к тому, что около 51% специалистов по ИИ в опросах 2022 года считают: c достаточным количеством данных БЯМ способны к подлинному пониманию языка.

Известные исследователи ИИ отвергают идею, что БЯМ — всего лишь повторяющие тренированные данные системы.

• Джеффри Хинтон, один из пионеров нейросетей, считает, что метафора неверно трактует условия точного языкового предсказания. По его мнению, «чтобы правильно предсказать следующее слово, нужно понимать смысл предложения», что он озвучил в интервью для телевизионной передачи «60 минут» (2023). С этой точки зрения понимание — не альтернатива статистике, а необходимое свойство для эффективного применения моделей в масштабе. Хинтон также приводит в доказательство задачи на логику, которые БЯМ решают осмысленно^[11].
• В 2024 году Scientific American опубликовал репортаж о закрытом семинаре в Беркли, где современные модели решали сложные математические задачи (tier-4) и составляли обоснованные доказательства, что свидетельствует о способности к рассуждению, выходящему за рамки запоминания^[12].
• GPT-4 Technical Report показал результаты на уровне человека на профессиональных и академических экзаменах (например, Uniform Bar Exam и USMLE), что противоречит описанию как «попугая»^[10].

Важный блок доказательств против утверждения о «попугайстве» связан с развитием механистической интерпретируемости — направления, занимающегося анализом внутренних состояний БЯМ. Вместо анализа только входных и выходных данных исследуются скрытые активации внутри модели, чтобы понять, появляются ли внутренние «модели мира».

Один из примеров — Othello-GPT, миниатюрный трансформер, обученный прогнозировать ходы в игре Отелло. Показано, что внутри модели формируется представление игрового поля, и его редактирование приводит к правильным изменениям выводимых ходов, что говорит о наличии у БЯМ «модели мира», а не только манипуляции статистикой^[13].

Аналогичный эффект выявлен на примере трансформера, обученного на программах для языка программирования Karel: модель построила внутреннее представление семантики программ, причём модификация этого представления приводит к осмысленным изменениям вывода, а производимые ею решения, как правило, оказываются короче учебных образцов^[14].

Также изучено явление «гроккинг», когда модель сначала просто заучивает ответы на примерах, а затем после дополнительного обучения внезапно находит обобщающее решение для невиданных данных^[15].

Важным контраргументом служит явление «обучения по обходным путям» (shortcut learning)^[16]. Критики утверждают, что высокие баллы на тестах могут быть следствием угадывания по несущественным признакам, а не понимания смысла.

Нередко задачи, предназначенные для тестирования языковых способностей у людей, позволяют моделям получать «ложноположительные» результаты за счёт сторонних корреляций^[17]. Было показано, что модели могут использовать такие «обходные корреляции» вместо настоящего понимания^[16].

В одном эксперименте 2019 года Google BERT проходила тест на понимание логических аргументов, где требовалось выбрать из двух утверждений то, что лучше соответствует аргументу. Пример запроса:^[18]

Исследователи выяснили, что наличие определённых слов («not» и др.) позволяет модели угадывать истинный ответ, но без них её результаты случайны^[18]. Эта проблема, а также трудности строгой формализации интеллекта, приводят к мнению, что все подобные тесты уязвимы для «обходных путей» и не могут однозначно подтвердить наличие понимания у БЯМ.