优化算法

1. 简介 深度学习网络中参数更新的优化方法主要分为两种： 调整学习率，使得优化更稳定 梯度估计修正，优化训练速度 2. 常用优化方法汇总 3. 原理 上述常用方法均可以使用一下公式来进行同一描述： ΔWt=−ηtGt+εMtGt=ψ(∂L∂W1,⋯ ,∂L∂Wt)Mt=ϕ(∂L∂W1,⋯ ,∂L∂Wt)\begin{array}{c} \Delta \boldsymbol{W}_t

Technique DeepLearning 优化算法
Technique DeepLearning 深度学习 优化算法

SGD

1. 简介 梯度下降法即沿着训练集的梯度方向下降。随机梯度下降（stochastic gradient descent：SGD）按照数据生成分布抽取 mmm 个小批量（独立同分布的）样本，通过计算它们的梯度均值，从而得到梯度的无偏估计；然后随机梯度下降算法沿着随机挑选的小批量数据的梯度下降方向，能够很大程度加速梯度下降的过程。 2. 思路 2.1 梯度下降 第 ttt 次迭代时： Wt=Wt−1−

Technique DeepLearning 优化算法
Technique DeepLearning 深度学习 优化算法

RNN

【注】参考自邱锡鹏的《神经网络与深度学习》。 1. 简介 循环神经网络（RNN）是一类具有短期记忆能力的神经网络。在循环神经网络中，神经元不但可以接受其他神经元的信息，也可以接受自身的信息，形成具有环路的网络结构。而前馈网络是一种静态网络，不具备记忆能力。 RNN 能够用于处理时序数据的神经网络，被广泛应用于语音识别、语言模型以及自然语言生成等任务上。 时序数据的长度一般是不固定的，而前馈神

Technique DeepLearning
Technique DeepLearning 深度学习

正则化

1. 定义 在机器学习中，许多策略被显式设计来减少测试误差（可能会增大训练误差为代价），这些策略被统称为正则化。常用的正则化方法简介如下表： 正则化方法 简介 正则化项 通过在经验损失上加上模型参数向量的罚项来防止模型过拟合，常用的有 L1L_1L1​ 和 L2L_2L2​ 范数。 Dropout 通过随机 Mask 掉隐藏层的神经元，使得训练过程中实际训练了一堆的子网络，而最终

Technique DeepLearning
Technique DeepLearning 深度学习