1. 简介
深度学习网络中参数更新的优化方法主要分为两种:
-
调整学习率,使得优化更稳定
-
梯度估计修正,优化训练速度
2. 常用优化方法汇总
3. 原理
上述常用方法均可以使用一下公式来进行同一描述:
ΔWt=−Gt+εηtMtGt=ψ(∂W1∂L,⋯,∂Wt∂L)Mt=ϕ(∂W1∂L,⋯,∂Wt∂L)
其中,∂Wt∂L 是第 t 步的梯度,ηt 是第 t 步的学习率(可以进行衰减,也可以不变);ψ(⋅) 是学习率缩放函数,可以取 1 或者历史梯度的模的移动平均;ϕ(⋅) 是优化后的参数更新方向,可以取当前的梯度 ∂Wt∂L 或历史梯度的移动平均。