AdaGrad

1. 简介

AdaGrad 算法是借鉴 2\ell_2 正则化的思想,每次迭代时自适应地调整每个参数的学习率。

2. 原理

tt 次迭代时:

ht=ht1+LWt1LWt1Wt=Wt1η1ht+εLWt1\begin{array}{c} \boldsymbol{h}_t = \boldsymbol{h}_{t-1} + \frac{\partial L}{\partial \boldsymbol{W}_{t-1}} \odot \frac{\partial L}{\partial \boldsymbol{W}_{t-1}}\\ \boldsymbol{W}_t = \boldsymbol{W}_{t-1} - \eta \frac{1}{\sqrt{\boldsymbol{h}_t+\boldsymbol{\varepsilon}}} \frac{\partial L}{\partial \boldsymbol{W}_{t-1}} \end{array}

其中,W\boldsymbol{W} 为需要更新的参数,LL 为损失函数,LW\frac{\partial L}{\partial \boldsymbol{W}}LL 关于 W\boldsymbol{W} 的梯度,η\eta 为学习率,\odot 表示对应矩阵元素的乘法,ε\boldsymbol{\varepsilon} 是为了保持数值稳定而设置的非常小的常数(一般取 e7e^{-7}e10e^{-10})。

  • 在更新参数时,通过乘以 1h+ε\frac{1}{\sqrt{\boldsymbol{h}+\boldsymbol{\varepsilon}}},就可以调整学习的尺度。即可以按参数的元素进行学习率衰减,使变动大的参数的学习率逐渐减小。

  • AdaGrad 方法会记录过去所有梯度的平方和。因此,学习越深入,更新的幅度就越小。