Эмпауэрмент (искусственный интеллект)

Эмпауэрмент (${\displaystyle {\mathfrak {E}}}$) определяется как пропускная способность (${\displaystyle C}$) управляющего канала агента и формализуется как максимально возможный поток информации между действиями агента и их последствиями через некоторое время. Эмпауэрмент можно рассматривать как потенциальную будущую способность агента воздействовать на среду, измеряемую по его сенсорным данным.

$${\displaystyle {\mathfrak {E}}:=C(A_{t}\longrightarrow S_{t+1})\equiv \max _{p(a_{t})}I(A_{t};S_{t+1})}$$

В дискретной временной модели эмпауэрмент может вычисляться на заданное число шагов вперёд, что в литературе называется n-шаговым эмпауэрментом.

$${\displaystyle {\mathfrak {E}}(A_{t}^{n}\longrightarrow S_{t+n})=\max _{p(a_{t},...,a_{t+n-1})}I(A_{t},...,A_{t+n-1};S_{t+n})}$$

Единица измерения эмпауэрмента зависит от основания логарифма; обычно используется основание 2, в таком случае единицей являются биты.

Вообще говоря, распределение действий, максимизирующее эмпауэрмент, различается для каждого состояния. Знание эмпауэрмента агента в конкретном состоянии полезно, например, для построения политики максимизации эмпауэрмента. Такое состояние-специфичное значение может быть определено с помощью формализма контекстного эмпауэрмента. ${\displaystyle C}$ — случайная величина, описывающая контекст (например, состояние).

$${\displaystyle {\mathfrak {E}}(A_{t}^{n}\longrightarrow S_{t+n}{\mid }C)=\sum _{c{\in }C}p(c){\mathfrak {E}}(A_{t}^{n}\longrightarrow S_{t+n}{\mid }C=c)}$$

Максимизация эмпауэрмента может использоваться в качестве псевдофункции полезности, позволяя агенту проявлять интеллектуальное поведение без явного задания внешней цели — например, при балансировке шеста на тележке в условиях, когда задача не предъявлена агенту напрямую. Эмпауэрмент применялся в исследованиях коллективного поведения и непрерывных областей. Как и для байесовских методов в целом, вычисление эмпауэрмента становится вычислительно сложным по мере увеличения числа действий и временного горизонта, однако разработаны эффективные методы, позволяющие использовать его в задачах управления в реальном времени. Эмпауэрмент применялся для внутренне мотивированного обучения с подкреплением агентов в компьютерных играх, а также при управлении подводными автономными аппаратами.