Тест Тьюринга

Вопрос о возможности мыслить для машин имеет глубокие философские корни, связанные с противопоставлением дуалистических и материалистических взглядов на природу сознания и разума. Уже Рене Декарт в трактате «Рассуждение о методе» (1637) писал:

Здесь Декарт уже противопоставлял неподлинность и механистичность языковых реакций автомата истинно человеческому разуму, хотя и не рассматривал возможность их преодоления.

В 1746 году Дени Дидро сформулировал в работе «Философские мысли» условие, предвосхищающее критерий теста Тьюринга:

Подобные рассуждения отражали позиции материалистов XVIII века.

Проблему валидности чужого сознания рассматривал в 1936 году и философ А. Дж. Айер в книге «Язык, истина и логика», где предлагал различать сознательного человека и бессознательную машину по прохождению эмпирических тестов на наличие сознания^[9].

Идеи, схожие с тестом Тьюринга, встречаются в романе Джонатана Свифта «Путешествия Гулливера» (1726), где героя принимают за автомат и лишь убедившись в последовательности и осмысленности его ответов, признают человеком^[10][11].

В научной фантастике тесты, где человек решает, является ли собеседник человеком, компьютером или пришельцем, стали популярным мотивом ещё в 1940-х годах, например, в рассказе Стэнли Г. Вайнбаума «Марсианская одиссея» (1934)^[12].

Среди более ранних художественных примеров — античный миф о Пигмалионе, «Приключения Пиноккио» К. Коллоди, «Песочный человек» Э. Т. А. Гофмана, где искусственные существа успешно выдают себя за людей^[13].

Ещё до создания дисциплины «искусственный интеллект» (1956), аспекты машинного разума активно обсуждались в технических и кибернетических кругах Великобритании, в том числе среди участников Ratio Club, куда входил и Тьюринг.

В отчёте «Интеллектуальные машины» (1948 год) Тьюринг уже рассматривал вопрос, могут ли машины демонстрировать разумность. Среди экспериментов он предложил модель, в которой человек-оператор должен по стилю игры в шахматы отличить игру анонимного противника, имитирующего действия машины, от действий другого человека — прообраз будущих тестов^[14].

В статье 1950 года «Вычислительные машины и разум» Тьюринг формулирует подход, при котором важно не определять напрямую, «что есть мыслить», а ставить рассмотримую экспериментально задачу: «Могут ли машины делать то, что делаем мы, как мыслящие существа?» Для этого Тьюринг берет за основу популярную светскую игру, в которой человек-ведущий пытается по письменным ответам различить мужчину и женщину, находящихся в другой комнате^[3].

Позднее Тьюринг несколько раз модифицировал формулировку теста, но его суть осталась неизменной: если эксперт не может уверенно отличить машину от человека по их письменным ответам, машина демонстрирует проявление разума.

Тьюринг также подробно рассмотрел девять основных философских и технических возражений против концепции мыслящих машин^[3].

В 1980 году философ Джон Серль предложил мысленный эксперимент «Китайская комната», критикующий тест Тьюринга как не детектирующий подлинное мышление^[15]. Серль указывал, что программа может пройти тест, манипулируя символами, не обладая пониманием. Этот аргумент вызывал как критику^[16], так и поддержку^[17].

С 1991 по 2019 год ежегодно проводился конкурс Loebner Prize, спонсируемый Хью Лебнером и направленный на выявление наиболее «человечных» разговорных программ. Первый конкурс показал, что даже примитивные системы способны обмануть неопытных судей, что выявило множество слабых сторон теста Тьюринга и обусловило критику со стороны специалистов^[18].

Ни один конкурс не был выигран полностью (серебряная и золотая награды не вручались), но ежегодно вручалась бронзовая медаль за лучший результат среди заявленных программ^[19].

Тесты CAPTCHA (англ. Completely Automated Public Turing test to tell Computers and Humans Apart) представляют собой массовую интернет-реализацию идеи теста Тьюринга. Пользователю предлагается выполнить задания, лёгкие для человека, но трудные для компьютера — обычно это распознавание и ввод искажённых символов^[20]. Система reCAPTCHA, принадлежащая Google, в новых версиях реализует «невидимый» формат тестирования на фоне привычного интерфейса^[21].

Современные большие языковые модели, например ChatGPT, в контролируемых экспериментах успешно проходят строгие современные варианты теста: так, GPT-4.5 с вероятностью 73% распознавалась как человек, превзойдя реальные человеческие участники эксперимента^[7].

Главным достоинством теста Тьюринга считается его практичность и независимость от строгих («жёстких») философских или психологических определений разума. Он позволяет, пусть и в упрощённой форме, измерять уровень сходства поведения машины и человека в открытом диалоге. Для успешного прохождения теста программе требуется владение широким спектром человеческих навыков — от обработки естественного языка до обыденных знаний и традиционной логики^[26].

Тест Тьюринга подвергался широкой критике по ряду направлений:

• результат сильно зависит от уровня подготовки и наивности судьи;
• успешность теста не гарантирует наличие «подлинного» мышления или осознанности (см. аргумент «китайской комнаты»);
• тест проверяет только сходство поведения с человеческим, а не уровень интеллекта вообще — сверхчеловеческие или нехарактерные для людей формы интеллекта останутся недетектируемыми;
• фокус только на лингвистическом взаимодействии исключает множество других когнитивных способностей (см. теорию множественного интеллекта);
• для действующих исследований в области ИИ тест часто малополезен: практическое применение ИИ не сводится к имитации дискурса живого человека^[27].

Также высказывались социально-экономические возражения (см. Turing trap): развитие ИИ, ориентированного сугубо на имитацию человека, может приводить к вытеснению людей из традиционных сфер, а не к созданию новых форм сотрудничества между человеком и машиной^[28].