Проблема исчезающего градиента

В этом разделе излагаются результаты работы Паскану, Миколова и Бенжио On the difficulty of training Recurrent Neural Networks^[6].

Обобщённая рекуррентная сеть имеет скрытые состояния ${\displaystyle h_{1},h_{2},\dots }$, входы ${\displaystyle u_{1},u_{2},\dots }$ и выходы ${\displaystyle x_{1},x_{2},\dots }$. Пусть сеть параметризуется ${\displaystyle \theta }$ и эволюционирует согласно:

$${\displaystyle (h_{t},x_{t})=F(h_{t-1},u_{t},\theta )}$$

${\displaystyle x_{t}}$

${\displaystyle h_{t}}$

${\displaystyle x_{t}=G(h_{t})}$

${\displaystyle x_{t}=h_{t}}$

$${\displaystyle x_{t}=F(x_{t-1},u_{t},\theta )}$$

$${\displaystyle {\begin{aligned}dx_{t}&=\nabla _{\theta }F(x_{t-1},u_{t},\theta )d\theta +\nabla _{x}F(x_{t-1},u_{t},\theta )dx_{t-1}\\&=\nabla _{\theta }F(x_{t-1},u_{t},\theta )d\theta +\nabla _{x}F(x_{t-1},u_{t},\theta )\left[\nabla _{\theta }F(x_{t-2},u_{t-1},\theta )d\theta +\nabla _{x}F(x_{t-2},u_{t-1},\theta )dx_{t-2}\right]\\&\;\;\vdots \\&=\left[\nabla _{\theta }F(x_{t-1},u_{t},\theta )+\nabla _{x}F(x_{t-1},u_{t},\theta )\nabla _{\theta }F(x_{t-2},u_{t-1},\theta )+\cdots \right]d\theta \end{aligned}}}$$

${\displaystyle L(x_{T},u_{1},\dots ,u_{T})}$

$${\displaystyle dL=\nabla _{x}L(x_{T},u_{1},\dots ,u_{T})\left[\nabla _{\theta }F(x_{t-1},u_{t},\theta )+\nabla _{x}F(x_{t-1},u_{t},\theta )\nabla _{\theta }F(x_{t-2},u_{t-1},\theta )+\cdots \right]d\theta }$$

Проблема исчезающего/взрывающегося градиента связана с многократными перемножениями вида:

$${\displaystyle \nabla _{x}F(x_{t-1},u_{t},\theta )\nabla _{x}F(x_{t-2},u_{t-1},\theta )\nabla _{x}F(x_{t-3},u_{t-2},\theta )\cdots }$$

Рассмотрим типовую рекуррентную сеть:

$${\displaystyle x_{t}=F(x_{t-1},u_{t},\theta )=W_{\text{rec}}\sigma (x_{t-1})+W_{\text{in}}u_{t}+b}$$

Тогда: ${\displaystyle \nabla _{x}F(x_{t-1},u_{t},\theta )=W_{\text{rec}}\operatorname {diag} (\sigma '(x_{t-1}))}$ Произведение матриц вида:

$${\displaystyle {\begin{aligned}&\nabla _{x}F(x_{t-1},u_{t},\theta )\nabla _{x}F(x_{t-2},u_{t-1},\theta )\cdots \nabla _{x}F(x_{t-k},u_{t-k+1},\theta )\\&=W_{\text{rec}}\operatorname {diag} (\sigma '(x_{t-1}))W_{\text{rec}}\operatorname {diag} (\sigma '(x_{t-2}))\cdots W_{\text{rec}}\operatorname {diag} (\sigma '(x_{t-k}))\end{aligned}}}$$

${\displaystyle |\sigma '|\leq 1}$

${\displaystyle \|W_{\text{rec}}\|^{k}}$

${\displaystyle W_{\text{rec}}=\gamma <1}$

В результате работы исчезающего градиента сеть не способна обучаться долгосрочным зависимостям: влияние дальних входов на функцию потерь экспоненциально уменьшается и практически исчезает.

Если ${\displaystyle \gamma \geq 1}$, анализ усложняется: в случае спектрального радиуса больше 1 можно наблюдать взрыв градиента. Для иллюстрации см. работу Паскану и др^[6]..

Следуя Дойе (Doya, 1993)^[7], рассмотрим однонейронную рекуррентную сеть с сигмоидальной активацией:

$${\displaystyle x_{t+1}=(1-\varepsilon )x_{t}+\varepsilon \sigma (wx_{t}+b)+\varepsilon w'u_{t}}$$

${\displaystyle \varepsilon }$

$${\displaystyle {\frac {dx}{dt}}=-x(t)+\sigma (wx(t)+b)+w'u(t)}$$

${\displaystyle u=0}$

${\displaystyle w=5.0}$

${\displaystyle b}$

Значения производной ${\displaystyle \Delta x(T)/\Delta x(0)}$ и ${\displaystyle \Delta x(T)/\Delta b}$ (при большом T) резко возрастают при приближении к неустойчивой точке — взрыв градиента; вдалеке от неустойчивости — производная обращается в нуль — исчезновение градиента.

Для ${\displaystyle \Delta x(T)/\Delta b\approx \partial x(T)/\partial b=\left({\frac {1}{x(T)(1-x(T))}}-5\right)^{-1}}$, величина градиента остаётся ограниченной. Это объясняет, почему ранние исследования были сосредоточены на построении архитектур с особым распределением устойчивых состояний для обучения долгосрочным зависимостям^[8].

Аналогичная интуиция справедлива и для общего случая^[6].

Рассмотрим вышеописанную однонейронную сеть с параметрами: ${\displaystyle w=5,x(0)=0,5,u(t)=0}$, функция потерь ${\displaystyle L(x(T))=(0,855-x(T))^{2}}$. При приближении ${\displaystyle b}$ к −2,5 сверху функция потерь стремится к нулю, однако стоит ${\displaystyle b}$ пересечь этот порог, как область притяжения меняется и потери скачкообразно возрастают до 0,5.

При обучении по градиенту это приводит к резкой смене значения градиента и возникновению взрывов; см. подробнее в работе Паскану и др^[6].

Для преодоления проблемы исчезающего градиента были предложены различные методы.

В случае рекуррентных сетей специально для решения проблемы исчезающего градиента была предложена архитектура LSTM (long short-term memory), разработанная Хохрайтером и Шмидхубером в 1997 году^[9]..

Для решения проблемы взрывного градиента рекомендуется использовать обрезку градиентов (gradient clipping) — деление градиента ${\displaystyle g}$ на ${\displaystyle \|g\|/g_{\text{max}}}$, если ${\displaystyle \|g\|>g_{\text{max}}}$, что ограничивает модуль вектора градиента^[6].

Батч-нормализация (batch normalization) — стандартный метод, применяемый для борьбы с исчезающим и взрывным градиентом^[10][11].

В многоуровневых сетях (Шмидхубер, 1992) обучение проводится поэтапно: сначала нелинейная автокодировка или другое обучение без учителя применяется для каждого уровня, затем осуществляется тонкая настройка по алгоритму обратного распространения ошибки^[12]. Каждый уровень сжимает представление и передаёт его дальше.

Аналогичные стратегии применяются для глубоких прямых сетей, где предварительное обучение без учителя подготавливает эффективные детекторы признаков, а последующая работа с учителем строит классификацию. Модель deep belief network (Хинтон и др., 2006) поочерёдно обучает представления разных уровней с помощью ограниченных машин Больцмана, что стабилизирует обучение^[13]. Такие модели оказываются эффективными выделителями признаков на сложных данных^[14].

Рост производительности оборудования (особенно GPU) с 1991 по 2015 год сделал возможным обучение стандартным backpropagation даже очень глубоких сетей. Шмидхубер отмечает, что это «и обеспечивает текущие успехи в задачах компьютерного зрения», однако принципиально проблему исчезающего градиента не устраняет^[15][13].

Резидуальные (skip) связи реализуют архитектурный приём ${\displaystyle x\mapsto f(x)+x}$, где f — любая подсеть. Тогда градиент передачи представляет собой сумму дифференциала f и тождественного оператора, что предотвращает исчезновение/взрыв градиента. При обучении часть градиента напрямую проходит по резидуальным путям^[16].

Сети с резидуальными связями можно рассматривать как ансамбли относительно неглубоких сетей, для которых проблема исчезающего градиента не актуальна^[17].

Rectifier-функции активации, такие как ReLU, менее подвержены исчезающему градиенту, поскольку насыщаются только в одну сторону^[18].

Для борьбы с исчезающим градиентом предлагаются специальные методы начальной инициализации весов. Кумар (2017) предложил использовать нормальное распределение с нулевым средним и стандартным отклонением ${\displaystyle 3.6/{\sqrt {N}}}$, где N — число нейронов в слое, для сетей с логистической активацией^[19].

Йылмаз и Поли^[20] показали, что если среднее начальных весов установить по формуле ${\displaystyle \max(-1,-8/N)}$, то даже очень глубокие сети могут успешно обучаться с помощью backpropagation.

Свен Бенке использовал только знак градиента (метод Rprop) при обучении нейронной абстракционной пирамиды^[21] для решения задач восстановления изображений и локализации лиц.

Кроме того, оптимизация может проводиться методом универсального поиска по пространству весов сети, например с помощью случайного поиска или генетических алгоритмов, что устраняет зависимость от градиента^[22].