Внутренняя мотивация (искусственный интеллект)

Интеллектуальный агент считается действующим из внутренней мотивации, если именно содержательная информация либо опыт, получаемый в результате действия, служит мотивирующим фактором.

Содержательная информация в данном контексте измеряется в информационно-теоретическом смысле — через количественную оценку неопределённости. Характерной внутренней мотивацией является поиск необычных, удивительных ситуаций (исследование), в противовес внешним мотивациям — таким как поиск пищи (гомеостаз). Внешние мотивации обычно в искусственном интеллекте описываются как зависимые от задачи или целенаправленные.

Исследования внутренней мотивации в психологии и нейронауках начались в 1950-х годах, когда ряд психологов объяснял исследовательское поведение врождёнными побуждениями к манипуляции и исследованию среды, однако этот гомеостатический взгляд был раскритикован Уайтом. В качестве альтернативы Берлайн (англ. Berlyne) в 1960 году предложил объяснение через стремление к оптимальному балансу новизны и привычности. Фестингер (англ. Festinger) описывал различие между внутренним и внешним восприятием мира как диссонанс, который организмы стремятся снизить. Похожий подход в 1970-х высказывал Каган (англ. Kagan) как стремление уменьшить несовместимость между когнитивной структурой и опытом. В противовес идее оптимальной несогласованности Деси и Райан (англ. Deci, Ryan) в середине 1980-х выявили внутреннюю мотивацию, связанную с компетентностью и самоопределением.

Важный ранний вклад в разработку формализмов искусственной любознательности внёс в начале 1990-х Юрген Шмидхубер (англ. Jürgen Schmidhuber); его подход развился в «формальную теорию креативности, удовольствия и внутренней мотивации».

Внутренняя мотивация часто исследуется в рамках вычислительного обучения с подкреплением (введённого Саттоном и Барто), где вознаграждения, определяющие поведение агента, выводятся из внутренних факторов, а не навязываются извне, и должны быть усвоены из окружающей среды. Само обучение с подкреплением не зависит от способа формирования награды: агент учится политике (стратегии действий) на основе распределений вознаграждений, возникающих в результате его действий и их последствий. Каждый подход к внутренней мотивации в этой схеме по сути является разным способом генерации функции вознаграждения агента.

Агенты с внутренней мотивацией демонстрируют поведение, напоминающее любознательность или исследование. Проблематика исследования в ИИ и робототехнике подробно изучалась в моделях обучения с подкреплением, где агента побуждают максимально исследовать среду, чтобы уменьшить неопределённость о её динамике (обучение функции переходов) и способах достижения целей (обучение функции вознаграждения). Внутренняя мотивация, напротив, фокусирует агента на том, чтобы сначала исследовать аспекты среды, дающие больше информации, искать новизну. Недавние исследования, объединяющие счетчик посещённых состояний и внутреннюю мотивацию, показывают более быстрое обучение в играх.

Пьер-Ив Удейе (англ. Pierre-Yves Oudeyer) и Каплан внесли значительный вклад в изучение внутренней мотивации. Они определяют внутреннюю мотивацию на основе теории Берлайна и делят методы реализации внутренней мотивации на три категории, повторяющие основные психологические корни: «модели на основе знания», «модели на основе компетентности» и «морфологические модели». Модели на основе знания далее делятся на «информационно-теоретические» и «прогностические». Балдасарре и Миролли приводят схожую типологию, разделяя модели на основанные на предсказаниях и на поиске новизны.

Количественная оценка прогнозирования и новизны для управления поведением обычно обеспечивается посредством информационно-теоретических моделей, где состояния агента и политика во времени описываются вероятностными распределениями над марковским процессом принятия решений, а цикл восприятия и действия трактуется как информационный канал. Эти подходы претендуют на биологическую реализуемость как часть байесовских подходов к деятельности мозга. Главная критика и сложность этих моделей — трудность вычисления вероятностных распределений в больших дискретных и непрерывных пространствах состояний. Тем не менее, значительный пласт работ посвящён моделированию информационного потока в сенсомоторном цикле, что приводит к де-факто функциям вознаграждения, связанным со снижением неопределённости, — наиболее заметно активный вывод, а также инфотаксис, предсказательная информация и эмпаурмент.

Стилс предложил автотелический принцип, стремящийся формализовать понятие потока.

К другим внутренним мотивам, смоделированным вычислительно, относят стремление к достижению результата, принадлежности и власти. Эти мотивы могут реализовываться как функции вероятности успеха или стимула. В популяции агентов могут присутствовать особи с разными профилями стремления к достижению, принадлежности и власти, что позволяет моделировать разнообразие и объяснять различие в поведении при одних и тех же стимулах.

В более поздней вычислительной теории внутренней мотивации делается попытка объяснить широкий спектр психологических наблюдений, основанных на подобных мотивах. Эта модель выходит за пределы простых моделей достижения, принадлежности и власти, учитывая другие значимые человеческие мотивы. Эмпирические данные из психологии были воспроизведены и количественно описаны с помощью этой модели.

Обучение с внутренней мотивацией (или обучением, обусловленным любознательностью) — активно развивающееся направление исследований искусственного интеллекта и развивающейся робототехники, цель которого — создание агентов, способных осваивать универсальные навыки или стратегии, предназначенные для повышения эффективности при внешних (экзогенных) заданиях, например, поиске ресурсов. Обучение с внутренней мотивацией рассматривается как способ автономного длительного обучения машин и открытого обучения у игровых персонажей. В частности, когда агент осваивает значимую абстрактную репрезентацию, понятие расстояния между двумя репрезентациями может служить мерой новизны и обеспечивать эффективное исследование среды. Несмотря на успехи глубокого обучения в отдельных областях (например, AlphaGo), многие специалисты (в частности, Гэри Маркус) отмечают, что способность к обобщению остаётся фундаментальной проблемой искусственного интеллекта. Обучение с внутренней мотивацией, хотя оно многообещающе в генерировании целей на основе структуры среды, без внешних задач, сталкивается с той же проблемой обобщения — как переиспользовать уже выученные стратегии, сжимать и хранить важные признаки в непрерывных или сложных пространствах состояний.