Коннекционизм

Центральная идея коннекционизма состоит в том, что психические явления могут быть описаны через взаимосвязанные сети простых и, как правило, однородных элементов. Форма связей и сами элементы могут различаться в зависимости от модели. Так, элементы сети могут моделировать нейроны, а связи — синапсы, как в мозге человека. Этот принцип рассматривается как альтернатива подходу традиционного ИИ (GOFAI) и классическим теориям разума, основанным на символьных вычислениях, однако вопрос о совместимости этих подходов остаётся предметом обсуждений^[8].

Внутренние состояния сети меняются во времени благодаря передаче сигналов от нейронов одного слоя к следующему (в прямой сети) или к предыдущему (в рекуррентных сетях). Открытие нелинейных функций активации позволило реализовать вторую волну коннекционизма.

Нейронные сети основаны на двух принципах:

1. Любое ментальное состояние можно представить как n-мерный вектор числовых значений активации по элементам сети.
2. Память и обучение возникают за счет модификации «весов» связей между элементами сети, как правило, в виде n×m матрицы. Веса корректируются по определённому правилу обучения или алгоритму, например, по принципу Гебба.

Различия между моделями обусловлены:

• Интерпретацией элементов: элементы могут пониматься как отдельные нейроны или их группы.
• Определением активации: активация может задаваться по-разному, например, в машине Больцмана — это, скорее, вероятность генерации сигнала и определяется через логистическую функцию по сумме входов.
• Алгоритмом обучения: различные сети модифицируют связи разными способами. Любые математически задаваемые изменения весов называются «алгоритмом обучения».

Работы в области коннекционизма, как правило, не требуют строгого соответствия биологическим процессам^[9]. Одной из областей, где модели считаются биологически малореалистичными, является обратное распространение ошибки, необходимое для обучения^[10], однако такие процессы могут объяснять часть биологических проявлений активности мозга при исследовании вызванных потенциалов — например, компонентов N400 и P600 в нейрофизике^[11]. Многие рекуррентные сети также используют теорию динамических систем. Исследователи, такие как Пол Смоленский, считают, что коннекционистские модели станут полностью непрерывными, многомерными нелинейными динамическими системами.

Истоки коннекционистских принципов можно проследить в работах ранней психологии, таких как труды Уильяма Джеймса^[12]. В конце XIX века были популярны психологические теории, основывающиеся на знании о мозге человека. Уже в 1869 году невролог Джон Хаглингс-Джексон рассматривал распределённые системы с несколькими уровнями. Вслед за ним Герберт Спенсер («Principles of Psychology», 3-е изд., 1872) и Зигмунд Фрейд («Проект научной психологии», 1895) также развивали коннекционистские или близкие к ним теории. Эти теории часто имели спекулятивный характер. В начале XX века Эдвард Торндайк уже рассматривал обучение человека как процесс, реализуемый коннекционистской сетью^[13].

Сети Хопфилда имеют предшественников в модели Изинга, разработанной Вильгельмом Ленцем (1920) и Эрнстом Изингом (1925), хотя их модель не принимала во внимание время. Компьютерное моделирование по методу Монте-Карло для задачи Изинга стало возможным только с появлением ЭВМ в 1950-х годах^[14].

Первая волна началась в 1943 году с работ Уоррена МакКаллока и Уолтера Питтса, которые математически моделировали нейронные цепи. МакКаллок и Питтс показали, что нейронные системы могут реализовать логику первого порядка: их классическая статья «Логическое исчисление идей, скрытых в деятельности нервной системы» (1943) считается ключевой для этого направления. Они испытали влияние работ Николая Рашевского 1930-х годов и идей из Principia Mathematica^[2].

Доналд Хебб предложил принцип обучения — Геббовское обучение, а Карл Лешли отстаивал идею распределённых представлений, поскольку не смог найти локализованных энграмм в ходе многочисленных экспериментов по повреждению мозга. Фридрих Хайек независимо пришёл к подобной модели сначала в неопубликованной рукописи 1920 года^[15],^[16] затем — в книге 1952 года^[17].

Машины-перцептроны были предложены и реализованы Фрэнком Розенблаттом, который в 1958 году опубликовал статью «Перцептрон: вероятностная модель хранения и организации информации в мозге», ссылаясь на Хебба, Хайека, Аттли и Эшби.

Другой вариант коннекционистской модели — реляционная сеть, разработанная лингвистом Сидни Лэмбом в 1960-х.

Группа под руководством Видро экспериментально искала методы обучения двухслойных сетей ADALINE (MADALINE), хотя успех был ограничен^[18].

Метод обучения многослойных перцептронов произвольной глубины был опубликован Алексеем Ивахненко и Валентином Лапой в 1965 году — так называемый метод группового учёта аргументов (МГУА). Этот способ предполагает поэтапное обучение слоями с регрессионным анализом и отсевом лишних узлов на промежуточных слоях на основе валидационных выборок^[19].

В 1967 году Сюнъити Амари опубликовал работу об обучении многослойных перцептронов методом стохастического градиентного спуска^[20]. Эксперименты Амари и его ученика Сайто с 5-слойным МЛП с двумя изменяемыми слоями подтвердили формирование внутренних представлений для классификации нелинейно неразделимых образцов^[21].

В 1972 году Сюнъити Амари предложил один из первых примеров самоорганизующейся нейросети^[22].

В конце 1960-х в сообществе искусственного интеллекта возникли сомнения о реальной пользе нейронных сетей. Примерно с конца 1960-х по 1970-е наблюдался спад исследований и публикаций в этой области, так называемая «зима нейросетей», когда ИИ переключился на символные методы. Публикация книги Perceptrons (1969) считается катализатором этого явления.

Вторая волна началась в начале 1980-х. Ключевыми публикациями считаются статьи Джона Хопфилда (1982)^[23], популяризовавшие сети Хопфилда, статья 1986 года об обратном распространении ошибки^[24], и двухтомник Parallel Distributed Processing (PDP, 1987) Дж. МакКлелланда, Д. Румельхарта и др., где описаны такие усовершенствования, как скрытые слои и сигмоидальная функция активации.

Вклад Хопфилда заключался в применении методов статистической механики для обоснования математики нейросетей^[3].

Важной вехой стала теорема о универсальной аппроксимации функций искусственными нейронными сетями^[25].

В этот период появились известные демонстрационные проекты: NETtalk (1987) учился произносить написанный английский и приобрёл популярность в СМИ^[26], TD-Gammon (1992) достиг уровня сильнейших игроков в нарды^[27].

С ростом популярности коннекционизма в конце 1980-х года многие исследователи (включая Джерри Фодора, Стивена Пинкера и других) выступили против, считая, что коннекционизм угрожает результатам классического компьютейшнализма, согласно которому познание осуществляется посредством формальных операций над символами (аналогично машине Тьюринга). Критики рассматривали коннекционизм как возврат к ассоцианизму и отказу от идеи языка мышления, в то время как сторонникам эти черты, напротив, казались привлекательными.

Дискуссия приобрела антагонистический характер, хотя многие авторы указывали на совместимость подходов. Ключевые отличия:

• Компьютейшналисты строят символные модели, схожие с мозгом структурно, тогда как коннекционисты стремятся моделировать низкоуровневую структуру самих нейронных связей;
• Компьютейшналисты анализируют символные структуры и синтаксические правила, а коннекционисты делают упор на обучение на стимул-ответ и хранение знаний в весах соединений;
• Считается, что ментальная деятельность у первых отражает манипуляцию эксплицитными символами, вторые придерживаются представления о комплексной динамике соединений;
• Часто компьютейшналисты настаивают на доменно-специфических подсистемах, коннекционисты же ограничиваются универсальными механизмами обучения.

Тем не менее, возможно, что нейронные сети — это физиологическая основа символных систем, и на практике нейросети могут моделировать манипуляцию символами так, как это предусмотрено моделями компьютейшнализма^[28]. Были предложены архитектуры, сочетающие оба подхода, например Смоленского — ICS, и CLARION Рона Суна. Однако спор остаётся открытым по вопросу: лежит ли манипуляция символами в основе мышления вообще, или является лишь высокоуровневым описанием.

Основная трудность в дискуссии заключалась в том, могли ли нейронные сети воспроизвести синтаксическую структуру рассуждений. Это было продемонстрировано для моделей с быстрой переменной связки, выходящей за рамки стандартных коннекционистских моделей^[28].

Символные модели легче интерпретировать, а коннекционистские более «тёмные» («чёрный ящик»), зачастую описываются лишь через параметры структуры и обучения. В этом смысле, коннекционистские модели воплощают теорию когнитивных процессов, но не всегда дают объяснение конкретного (смоделированного) феномена. Некоторые авторы считают, что это вызвано эмерджентными свойствами сетей, которые можно описывать в символном виде^[29].

В 2000-х интерес к динамическим системам в философии сознания добавил к спорам новый ракурс^[30];^[31] некоторые авторы считают, что граница между коннекционизмом и компьютейшнализмом теперь может быть описана как разрыв между компьютейшнализмом и динамическими системами.

В 2014 году Алекс Грейвс и сотрудники из DeepMind опубликовали работы, в которых представили структуру глубокой нейросети "Нейронная машина Тьюринга" (англ. Neural Turing Machine)^[32], способной читать и записывать символы в память. Реляционные сети, опубликованные DeepMind, осуществляют объектные представления и манипуляции, что показывает возможность интеграции символических и нейросетевых подходов.

Субсимволическая парадигма Смоленского^[33][34] сталкивается с проблемой Фодора-Пайлишина^[35], выдвинутой классической символной теорией. Чтобы быть полноценной альтернативой, субсимволическая теория должна объяснить систематичность и композиционность в языке и мышлении, не прибегая к классической структуре ментальных представлений. В противном случае, она либо не способна объяснить систематичность, либо превращается в архитектурную реализацию классического символизма (и уже не является собственно альтернативой)^[36]. Классический символизм характеризуется (1) комбинаторным синтаксисом и семантикой, (2) структура-зависимыми операциями — всё это воплощено в «языке мысли» Фодора (LOT)^[37].

В современных нейросетевых подходах данный вызов частично преодолён — например, в архитектуре Смоленского ICS^[38], а также в работах Вернинга и Мэя по осцилляторным сетям^[39]. Обзор приводят также Bechtel & Abrahamsen^[40], Marcus^[41] и Maurer^[42].

Недавно Хэн Чжан и соавторы показали, что формализмы представления знаний с равной выразительной мощностью рекурсивно изоморфны^[43]. Это значит, что между символным и коннекционистским способами представления знаний нет принципиальной разницы для задач общего искусственного интеллекта, а изучение одного подхода может обогащать другой.