Алгоритм актор-критик

Актор использует функцию политики ${\displaystyle \pi (a|s)}$, в то время как критик оценивает или функцию ценности ${\displaystyle V(s)}$, или Q-функцию ${\displaystyle Q(s,a)}$, или функцию преимущества ${\displaystyle A(s,a)}$, либо их комбинацию.

Актор представляет собой параметрическую функцию ${\displaystyle \pi _{\theta }}$, где ${\displaystyle \theta }$ — параметры актора. На вход актор получает состояние среды ${\displaystyle s}$ и формирует распределение вероятностей ${\displaystyle \pi _{\theta }(\cdot |s)}$.

Если пространство действий дискретно, то ${\displaystyle \sum _{a}\pi _{\theta }(a|s)=1}$. Если пространство действий непрерывно, то ${\displaystyle \int _{a}\pi _{\theta }(a|s)da=1}$.

Цель оптимизации политики — улучшение актора, то есть подбор таких параметров ${\displaystyle \theta }$, которые максимизируют ожидаемое суммарное вознаграждение:

$${\displaystyle J(\theta )=\mathbb {E} _{\pi _{\theta }}\left[\sum _{t=0}^{T}\gamma ^{t}r_{t}\right],}$$

${\displaystyle \gamma }$

${\displaystyle r_{t}}$

${\displaystyle t}$

${\displaystyle T}$

Методы градиента политики нацелены на оптимизацию ${\displaystyle J(\theta )}$ с помощью градиентного подъёма по градиенту политики ${\displaystyle \nabla J(\theta )}$.

Как подробно описано на странице метод градиента политики, существует множество несмещённых оценок градиента политики:

$${\displaystyle \nabla _{\theta }J(\theta )=\mathbb {E} _{\pi _{\theta }}\left[\sum _{0\leq j\leq T}\nabla _{\theta }\ln \pi _{\theta }(A_{j}|S_{j})\cdot \Psi _{j}{\Big |}S_{0}=s_{0}\right],}$$

${\displaystyle \Psi _{j}}$

• ${\displaystyle \sum _{0\leq i\leq T}(\gamma ^{i}R_{i})}$.
• ${\displaystyle \gamma ^{j}\sum _{j\leq i\leq T}(\gamma ^{i-j}R_{i})}$: алгоритм REINFORCE.
• ${\displaystyle \gamma ^{j}\sum _{j\leq i\leq T}(\gamma ^{i-j}R_{i})-b(S_{j})}$: алгоритм REINFORCE с базовой линией, где ${\displaystyle b}$ — произвольная функция.
• ${\displaystyle \gamma ^{j}\left(R_{j}+\gamma V^{\pi _{\theta }}(S_{j+1})-V^{\pi _{\theta }}(S_{j})\right)}$: обучение с временным различием TD(1).
• ${\displaystyle \gamma ^{j}Q^{\pi _{\theta }}(S_{j},A_{j})}$.
• ${\displaystyle \gamma ^{j}A^{\pi _{\theta }}(S_{j},A_{j})}$: Advantage Actor-Critic (A2C)^[3].
• ${\displaystyle \gamma ^{j}\left(R_{j}+\gamma R_{j+1}+\gamma ^{2}V^{\pi _{\theta }}(S_{j+2})-V^{\pi _{\theta }}(S_{j})\right)}$: TD(2).
• ${\displaystyle \gamma ^{j}\left(\sum _{k=0}^{n-1}\gamma ^{k}R_{j+k}+\gamma ^{n}V^{\pi _{\theta }}(S_{j+n})-V^{\pi _{\theta }}(S_{j})\right)}$: TD(n).
• ${\displaystyle \gamma ^{j}\sum _{n=1}^{\infty }{\frac {\lambda ^{n-1}}{1-\lambda }}\cdot \left(\sum _{k=0}^{n-1}\gamma ^{k}R_{j+k}+\gamma ^{n}V^{\pi _{\theta }}(S_{j+n})-V^{\pi _{\theta }}(S_{j})\right)}$: TD(λ) (также известная как generalized advantage estimate, GAE)^[4]. Это реализовано как экспоненциально затухающее по λ среднее по слагаемым TD(n).

В приведённых выше несмещённых оценках встречаются функции ${\displaystyle V^{\pi _{\theta }},Q^{\pi _{\theta }},A^{\pi _{\theta }}}$, аппроксимируемые критиком. Поскольку эти функции зависят от состояния актора, критик обучается параллельно с актором с использованием методов обучения с подкреплением на основе ценности.

Например, если критик оценивает функцию ценности состояния ${\displaystyle V^{\pi _{\theta }}(s)}$, она может быть получена любым методом аппроксимации функций. Пусть критик — аппроксиматор ${\displaystyle V_{\phi }(s)}$ с параметрами ${\displaystyle \phi }$.

Самый простой пример — TD(1), обучающий критика минимизировать ошибку временного различия:

$${\displaystyle \delta _{i}=R_{i}+\gamma V_{\phi }(S_{i+1})-V_{\phi }(S_{i}).}$$

${\displaystyle \phi }$

$${\displaystyle \phi \leftarrow \phi -\alpha \nabla _{\phi }(\delta _{i})^{2}=\phi +\alpha \delta _{i}\nabla _{\phi }V_{\phi }(S_{i}),}$$

${\displaystyle \alpha }$

${\displaystyle \phi }$

${\displaystyle V_{\phi }(S_{i})}$

${\displaystyle V_{\phi }(S_{i+1})}$

Аналогично, если критик аппроксимирует функцию действия ${\displaystyle Q^{\pi _{\theta }}}$, обучение может выполняться с помощью Q-обучения или SARSA. В SARSA критик хранит оценку Q-функции с параметрами ${\displaystyle \phi }$: ${\displaystyle Q_{\phi }(s,a)}$. Ошибка временного различия: ${\displaystyle \delta _{i}=R_{i}+\gamma Q_{\theta }(S_{i+1},A_{i+1})-Q_{\theta }(S_{i},A_{i})}$. Тогда обновление:

$${\displaystyle \theta \leftarrow \theta +\alpha \delta _{i}\nabla _{\theta }Q_{\theta }(S_{i},A_{i}).}$$

${\displaystyle Q_{\phi }(s,a)}$

${\displaystyle V_{\phi }(s)}$

${\displaystyle A_{\phi }(s,a)=Q_{\phi }(s,a)-V_{\phi }(s)}$

${\displaystyle V_{\phi }(s)}$

$${\displaystyle A_{\phi }(S_{i},A_{i})\approx \sum _{j=0}^{n-1}\gamma ^{j}R_{i+j}+\gamma ^{n}V_{\phi }(S_{i+n})-V_{\phi }(S_{i}).}$$

${\displaystyle n}$

${\displaystyle n}$

Оценка обобщённого преимущества (GAE) (англ. generalized advantage estimation) вводит гиперпараметр ${\displaystyle \lambda }$, который плавно интерполирует между возвратами Монте-Карло (${\displaystyle \lambda =1}$, высокая дисперсия, отсутствие смещения) и одношаговым TD-обучением (${\displaystyle \lambda =0}$, низкая дисперсия, смещение максимально). Это позволяет подобрать оптимальный баланс смещения и дисперсии в оценке преимущества, реализуемый как экспоненциальное среднее n-шаговых возвратов с постоянной затухания ${\displaystyle \lambda }$^[4].