Китайская комната

Предположим, что исследователи в области искусственного интеллекта успешно создали программу для компьютера, которая заставляет его вести себя так, будто он понимает китайский язык. Эта машина получает на вход китайские иероглифы, пошагово выполняет инструкции программы и формирует на выходе другие китайские иероглифы. Машина делает это настолько искусно, что никто не может распознать, говорит ли с ней человек или машина, скрытая за ширмой^[5].

Возникает главный вопрос: действительно ли машина понимает ведённый с ней диалог или лишь симулирует способность к пониманию? Обладает ли машина разумом в том же смысле, что и человек, или только создаёт видимость наличия разума^[5].

Допустим далее, что Серль находится внутри комнаты, у него есть англоязычная версия программы, а также достаточное количество карандашей, бумаги, ластиков и картотеки. Через щель под дверью ему подают китайские иероглифы, а он, следуя инструкциям, в итоге передаёт наружу другую комбинацию иероглифов. Если компьютер таким методом смог бы пройти тест Тьюринга, то и Серль, вручную воспроизводя шаги программы, тоже сможет^[5].

Серль не видит существенной разницы между ролью компьютера и своим собственным участием в эксперименте: и тот и другой просто механически следуют программе, формируя поведение, создающее видимость понимания. Однако, сам Серль при этом не понимает смысла общения. Следовательно, по его мнению, и компьютер, просто исполняющий правила, не будет понимать китайский^[5].

Обобщая, Серль утверждает: если отсутствует собственно «понимание» (интенциональность), то мы не можем назвать действия машины мышлением, а значит, в нормальном смысле слова у неё нет «разума». Отсюда делается вывод, что гипотеза сильного искусственного интеллекта ошибочна: работающая под управлением такой программы машина не имеет разума в том же смысле, что и человек^[5].

В рамках данного мысленного эксперимента Сёрл проводит фундаментальное различие между синтаксисом и семантикой. Синтаксис представляет собой набор формальных правил для манипуляции символами исключительно на основе их формы, безотносительно значения. Семантика же подразумевает подлинное понимание смыслового содержания этих символов. Центральный тезис аргумента заключается в том, что «синтаксиса самого по себе недостаточно для семантики»: никакая манипуляция формальными символами не может сама по себе породить понимание^[9]. В современных интерпретациях эксперимента аналогом классической «книги правил» выступают компьютерные алгоритмы или веса параметров нейронных сетей^[10].

Похожую аргументацию против объяснения разума только механическими средствами приводил ещё Готфрид Лейбниц в «Монадологии» (1714), анализируя возможность «механического» устройства, способного к восприятию. Он с трудом представлял себе, что «разум», способный к «восприятию», можно построить исключительно на механистических принципах. Отличие подхода Серля в том, что Лейбниц оспаривал именно «механическую» (substance) модель, а Серль — «информационно-вычислительную» (computationalism): он принимает механизм, но отрицает компьютационализм.

В 1958 году аналогичный аргумент появляется у Питера Уинча, а в 1961 году советский кибернетик Анатолий Днепров изложил практически идентичную мысль в рассказе «Игра», где стадион людей реализует перевод текста с португальского так, что никто из них языка не знает^[11]. Подобные упражнения, вплоть до мысленного эксперимента о «китайском мозге» (Нэд Блок, 1978), задавали вопрос: достаточно ли симуляции функций для обладания сознанием?

Статья Серля «Разумы, мозги и программы» (1980) приобрела статус классического труда в когнитивистике и искусственном интеллекте, породив множество опровержений и возражений^[12]. Тем не менее, подавляющее большинство исследователей по-прежнему считает аргумент ошибочным.

В ответ на мысленный эксперимент Джона Серля были предложены многочисленные возражения, среди которых наиболее известны три классических аргумента:^[13]

• Системный ответ (Systems Reply). Сторонники этого возражения утверждают, что хотя человек в комнате не понимает китайский язык, он является лишь частью более крупной системы (включающей инструкции, карточки и само помещение), которая в совокупности обладает пониманием. В ответ Серль предложил представить, что человек заучивает все правила и символы наизусть, выполняя операции в уме. В таком случае вся система заключается в одном человеке, и если он по-прежнему не понимает языка, то и система в целом им не владеет^[14].
• Робототехнический ответ (Robot Reply). Согласно этому аргументу, если поместить компьютерную программу в робота, способного взаимодействовать с окружающим миром с помощью сенсоров и манипуляторов, система сможет связать формальные символы с реальными объектами и обрести семантику. Серль парирует это возражение, предлагая поместить саму «китайскую комнату» внутрь робота: человек внутри продолжит манипулировать поступающими от сенсоров символами по заданным правилам, не понимая их смысла, что означает отсутствие подлинного понимания и у робота^[14].
• Ответ симулятора мозга (Brain Simulator Reply). Данное возражение предполагает создание программы, которая понейронно моделирует работу мозга носителя китайского языка, воспроизводя все синаптические связи. В качестве контраргумента Серль приводит пример с системой водопроводных труб и клапанов, заменяющих нейроны. Даже если человек будет открывать и закрывать клапаны в точном соответствии с нейронной активностью мозга, ни он, ни система труб не начнут понимать китайский язык, поскольку имитируется лишь формальная структура мозга^[14].

Критики современных больших языковых моделей (LLM) часто рассматривают их как высокотехнологичную версию «китайской комнаты». Согласно этой позиции, нейросети оперируют исключительно синтаксисом: они осуществляют статистическое предсказание наиболее вероятных токенов, не обладая реальным семантическим пониманием^[7].^[8]

Вместе с тем архитектура нейросетей привела к переосмыслению классического «системного ответа». Высказываются предположения, что понимание может являться эмерджентным свойством всей вычислительной системы. В рамках этого подхода семантика рассматривается как результат сложных распределённых векторных представлений (эмбеддингов), где смысл возникает из многомерной карты статистических отношений между понятиями^[15].

С другой стороны, аргумент Серля сохраняет актуальность через проблему «заземления» символов (англ. symbol grounding problem). Поскольку языковые модели лишены телесного и сенсорного опыта взаимодействия с физическим миром, их связи между понятиями не закреплены в реальности. В связи с этим часть исследователей полагает, что работа LLM остаётся сложной формой манипуляции символами. В современной философии искусственного интеллекта представлены различные точки зрения на эту проблему, и дискуссия о природе эмерджентных свойств нейросетей продолжается^[16].