Символический искусственный интеллект

Краткая история развития символического искусственного интеллекта прослеживается ниже. Временные периоды и термины основаны на лекции Генри Каутца 2020 года и статье История искусственного интеллекта.

Первые успехи в ИИ пришлись на три основные области: искусственные нейронные сети, представление знаний и эвристический поиск. Достижения в этих направлениях способствовали высоким ожиданиям.

Кибернетические подходы пытались воспроизвести процессы обратной связи между живым существом и средой. В 1948 году был построен робот-«черепаха» с датчиками, моторами и простейшей нейросетью. Эти идеи предвосхитили дальнейшее развитие нейронных сетей, обучения с подкреплением и ситуационной робототехники.

Одной из важнейших ранних символических программ стал Логический теоретик (Logic Theorist) (А. Ньюэлл, Г. Саймон и К. Шоу, 1955-56), сумевший автоматически доказать 38 теорем из Principia Mathematica Уайтхеда и Рассела. Впоследствии была создана система Обобщённый решатель задач (GPS), для решения задач методом поиска в пространстве состояний с использованием анализа средств и целей.

В 1960-х символические подходы добились больших успехов в симуляции интеллектуального поведения в структурированных задачах — играх, символьной математике, автоматическом доказательстве теорем. Исследования концентрировались в четырёх институтах: Карнеги-Меллон, Стенфорд, MIT и (позже) Эдинбургский университет.

Герберт Саймон и Аллен Ньюэлл формализовали навыки человеческого решения задач, что заложило основы ИИ, когнитивных наук и теории управления. Их команда использовала результаты психологических экспериментов для моделирования методов мышления человека.

Ранние исследователи открыли универсальное применение знаний в виде эвристик — правил, ведущих поиск по наиболее перспективным направлениям. Появился вопрос: «Как реализовать эффективный неэкспериментальный поиск при экспоненциальной сложности?» — ответом стал эвристический подход. Позже алгоритм A* стал базовой схемой полного и оптимального эвристического поиска, используемой во множестве современных алгоритмов ИИ.

Ранние работы охватывали как формальные методы на базе предикатной логики первого порядка, так и попытки менее формального моделирования бытового рассуждения.

Джон Маккарти полагал, что компьютеры могут использовать логику для решения задач, без необходимости имитировать конкретные психологические механизмы человека. Его лаборатория в Стэнфорде занималась формальной логикой в задачах представления знаний, планирования и обучения. В Европе основной акцент делался на Prolog и логическое программирование.

В MIT (М. Минский, С. Пейперт и др.) пришли к выводу, что сложные задачи, такие как зрение и обработка языка, требуют не универсальных, а гибких, подстроенных решений. Роджер Шенк противопоставил эти «небрежные» методы «аккуратным». Примером подхода «небрежников» служит проект Cyc, где знания вводятся вручную.

К середине 1960-х стало ясно, что создание полноценного ИИ гораздо труднее предполагавшегося; программы DARPA были свёрнуты, ключевые проекты закрылись. В Великобритании критический доклад Лайтхилла привёл к схожим последствиям: утверждалось, что успехи в «игрушечных задачах» не масштабируются на реальный мир из-за комбинаторного взрыва.

Выявились ограничения универсальных методов, и исследователи разных школ стали насыщать приложения объёмными знаниями. Как сформулировал Эдвард Фейгенбаум: «В знании — сила»^[5]. Принцип объёмности знаний предполагал, что для решения сложной задачи программа должна знать много о мире задачи.

Начался расцвет экспертных систем, впервые воплотивших коммерчески успешный ИИ^[6]. Классическими примерами стали DENDRAL, MYCIN, Internist-I, CADUCEUS, GUIDON, XCON.

DENDRAL стал первой экспертной системой, основанной на знание-интенсивных методах поиска; MYCIN показал возможности экспертных систем в медицине, а XCON сэкономил миллионы долларов благодаря автоматизации конфигурирования компьютеров VAX.

В основе находится база знаний (правила или сети продукций), по которой работают процедуры вывода (например, OPS5, CLIPS, Drools). Системы могут реализовывать как прямой (от фактов — к выводам), так и обратный (от целей — к данным) вывод. Soar поддерживает метауровень рассуждения — оценку собственных стратегий.

Blackboard-системы моделируют коллективное решение задач с множеством «экспертов», комбинируя их вклад для итогового решения (пример — архитектура BB1).

Развитие специализированных Lisp-машин оказалось нерентабельным на фоне появления массовых Unix-рабочих станций с поддержкой LISP и Prolog. Поддержка экспертных систем оказалась слишком сложной и дорогой, особенно в медицине; финансирование быстро сократилось.

Активно внедрялись статистические методы: скрытые марковские модели, байесовские сети, статистическое реляционное обучение. Появились расширения логики первого порядка — немонотонная логика, системы поддержки истины, нечёткая логика (Л. Заде) для моделирования неопределённости и расплывчатости.

Для преодоления проблемы ручного наполнения баз знаний исследовались методы символического обучения: Meta-DENDRAL автоматизировал выведение правил на основе спектров, ID3 и C4.5 (Р. Куинлан) реализовали статистическую классификацию путём построения интерпретируемых деревьев решений.

Том Митчелл предложил обучение в пространстве версий; более формально, Лесли Вэлиант разработал теорию PAC-обучения. Развивались когнитивные архитектуры (например, ACT-R) и индуктивное логическое программирование, программы-аппрентисы, обучение по случаям и аналогиям, а также генетическое программирование.

Бурное развитие глубокого обучения показало силу нейронных сетей при распознавании образов, обработки речи, генерации изображений, машинного перевода. Однако ограничения в объяснимости, устойчивости, общем здравом смысле вновь актуализировали запрос на нейросимволический ИИ — сочетание сильных сторон символических и нейросетевых методологий^[3][4].

Нейросимволический ИИ разрабатывает архитектуры, объединяющие обучающиеся методы и символическую обработку знаний, что, по мнению ряда учёных (Гарри Маркус, Генри Каутц, Франческа Росси и др.), необходимо для создания устойчивых когнитивных моделей, способных к рассуждению, обобщённому обучению и самоконтролю.

Системы глубокого обучения эффектно справляются с задачами типов восприятия (быстрое «Система 1» по Д. Канеману), тогда как символическое рассуждение — с дедукцией и объяснимым планированием (медленное «Система 2»).

Архитектуры нейросимволических систем включают модели, где, например, языковые модели используют символические выходы (BERT, GPT-3), а такие системы как AlphaGo сочетают символические методы поиска и оценку позиций через нейронные сети. Существуют гибридные схемы построения нейронных сетей из символических правил (Neural Theorem Prover), с прямым вызовом символического движка из нейросети и др.

Открытыми остаются вопросы: как оптимально интегрировать два подхода, как представлять символические структуры внутри нейронных сетей, как обучать и извлекать знание общего смысла и т.д^[7].

Ключевым языком ИИ в США с конца 1950-х был LISP (Джон Маккарти, 1958), предложивший REPL, сборку мусора, динамическую типизацию, функции высшего порядка и рекурсию. LISP оказал влияние на многие языки общего назначения.

В Европе доминировал Prolog (Ален Кольмерауэр, Филипп Руссель), основанный на программировании на логике, хранящий правила и факты, осуществляющий запросы на поиск по ним. Prolog поддерживает обратную цепочку вывода, бэктрекинг и унификацию.

Япония в рамках проекта «Пятая генерация» делала ставку на Prolog и специализированное железо, а в США развивались LISP-машины. На современном этапе универсальным языком для ИИ стал Python, благодаря богатству библиотек для анализа данных, НЛП и глубокого обучения.

Во многих задачах — планировании, удовлетворении ограничений, играх — применяются алгоритмы поиска в пространствах состояний: поиск в ширину, поиск в глубину, A*, поиск Монте-Карло по дереву. В задачах логического вывода ключевы алгоритмы — WalkSAT, конфликтно-обусловленное обучение дизъюнктов, DPLL; в игровых задачах — альфа-бета отсечение, minimax.

Символический ИИ предложил разнообразные методы представления знаний: семантические сети, фреймы, формальная логика, онтологии. Специализированные логики (описательные, временные, эпистемические, модальные, вероятностные) позволяют формально моделировать сложные концепции и отношения.

Системы автоматического доказательства теорем (Prover9, ACL2, Vampire) работают с формальной логикой. Экспертные системы отделяют декларативные (база знаний) и процедурные компоненты, используя движки прямого или обратного вывода (CLIPS, Prolog).

Идеи «фреймов» (М. Минский), скриптов (Р. Шенк), обширные базы общих знаний (Cyc), качественные симуляции (QSIM), простые интервальные и пространственные алгебры (Аллен, RCC) продвигались для моделирования здравого смысла и естественных рассуждений в AI.

Решение задач с ограничениями — отдельное направление: качественные пространственно-временные задачи (Wordle, Sudoku), символьные головоломки и производственные графики решаются средствами constraint programming, в том числе с помощью constraint logic programming.

От GPS c методом анализа «средства-цели» через STRIPS (планирование как доказательство теоремы) к подходям типа Graphplan (планирование с минимальной приверженностью) и Satplan (преобразование задачи в SAT).

Классические методы — синтаксический разбор (Parsing), токенизация, морфологический анализ — традиционно реализовывались средствами символического ИИ. Однако современные достижения в НЛП основаны на обучаемых моделях на базе трансформеров, зачастую непрозрачных семантически.

Программные агенты — автономные системы, взаимодействующие со средой и (в мультиагентных системах) друг с другом, разделяющие задачи, знания и адаптирующиеся к отказам. Современные архитектуры включают комбинации символических и нейросетевых компонентов.

Внутри символического ИИ выделялись «аккуратисты» (логико-ориентированные) и «небрежники» (гибкие, ситуативные), вне поля символического ИИ периодически доминировали противостояния с коннекционистскими парадигмами.

Ограничения формальной логики в динамических доменах проявились в невозможности адекватно формализовать, что после каждого действия не меняется («frame problem»), или полностью описать все условия успешности действия («qualification problem»). Это привело к развитию немонотонных логик, поддержке истинности, вероятностных и обучающих методов.

Корректное представление здравого смысла (например, что нельзя сбивать пешехода, ведущего велосипед) остаётся трудной задачей как для символических, так и для нейросетевых моделей.

Существовало три позиции среди коннекционистов: реализация символов в нейросетях, полный отказ от символической обработки и умеренный гибридный взгляд (например, Энди Кларк). В последние десятилетия нарастают тенденции интеграции двух подходов в нейросимволический ИИ.

Важный теоретический вопрос — существенны ли различия между символьным и коннекционистским представлением знаний с точки зрения универсальности и выразительной мощности.

Воплощённое познание утверждает, что мышление неотделимо от тела и среды обитания, что привело к развитию поведенческих роботов. Родни Брукс и Nouvelle AI отвергли как символические, так и распределённые (нейросетевые) представления, акцентируя важность тестирования на реальных физических задачах.

Символический ИИ критикуют за отсутствие соединения с перцептивным опытом и неустойчивость в реальном мире; коннекционистский — за отсутствие объяснимых шагов и трудности с планированием; «новый ИИ» — за проблемы с обучением и накоплением знаний. Современные направления развивают гибридные интеллектуальные системы как наиболее перспективную стратегию^[8].