お前はどこまで見えている 
  • 首页
  • 归档
  • 分类
  • 标签
  • 关于
  • 友链
  •   
  •   

优化算法

1. 简介 深度学习网络中参数更新的优化方法主要分为两种: 调整学习率,使得优化更稳定 梯度估计修正,优化训练速度 2. 常用优化方法汇总 3. 原理 上述常用方法均可以使用一下公式来进行同一描述: ΔWt=−ηtGt+εMtGt=ψ(∂L∂W1,⋯ ,∂L∂Wt)Mt=ϕ(∂L∂W1,⋯ ,∂L∂Wt)\begin{array}{c} \Delta \boldsymbol{W}_t

2020-10-02
Technique DeepLearning 优化算法
Technique DeepLearning 深度学习 优化算法

SGD

1. 简介 梯度下降法即沿着训练集的梯度方向下降。随机梯度下降(stochastic gradient descent:SGD)按照数据生成分布抽取 mmm 个小批量(独立同分布的)样本,通过计算它们的梯度均值,从而得到梯度的无偏估计;然后随机梯度下降算法沿着随机挑选的小批量数据的梯度下降方向,能够很大程度加速梯度下降的过程。 2. 思路 2.1 梯度下降 第 ttt 次迭代时: Wt=Wt−1−

2020-10-02
Technique DeepLearning 优化算法
Technique DeepLearning 深度学习 优化算法

RNN

【注】参考自邱锡鹏的《神经网络与深度学习》。 1. 简介 循环神经网络(RNN)是一类具有短期记忆能力的神经网络。在循环神经网络中,神经元不但可以接受其他神经元的信息,也可以接受自身的信息,形成具有环路的网络结构。而前馈网络是一种静态网络,不具备记忆能力。 RNN 能够用于处理时序数据的神经网络,被广泛应用于语音识别、语言模型以及自然语言生成等任务上。 时序数据的长度一般是不固定的,而前馈神

2020-10-02
Technique DeepLearning
Technique DeepLearning 深度学习

CNN

1. 简介 CNN 是专门用于处理网格化数据的神经网络。CNN 中新增了 Convolution 层和 Pooling 层,CNN 的层的连接顺序是「Convolution-ReLU-(Pooling)」(Pooling层有时会被省略)。这可以理解为之前的“Affine-ReLU”连接被替换成了「Convolution-ReLU-(Pooling)」连接。 2. CNN 的优势 全连接层(Aff

2020-10-02
Technique DeepLearning
Technique DeepLearning 深度学习

正则化

1. 定义 在机器学习中,许多策略被显式设计来减少测试误差(可能会增大训练误差为代价),这些策略被统称为正则化。常用的正则化方法简介如下表: 正则化方法 简介 正则化项 通过在经验损失上加上模型参数向量的罚项来防止模型过拟合,常用的有 L1L_1L1​ 和 L2L_2L2​ 范数。 Dropout 通过随机 Mask 掉隐藏层的神经元,使得训练过程中实际训练了一堆的子网络,而最终

2020-10-02
Technique DeepLearning
Technique DeepLearning 深度学习

Linux下查看系统信息

1. 查看发行版信息 通用方法: 1cat /etc/os-release 借助 lsb_release 工具: 1lsb_release -a 【注】并不是所有 Linux 发行版都自带 lsb_release 命令,如果系统上没有该命令需要手动安装 lsb-release 工具。 查看 Linux 发行版名称和版本号的 8 种方法 2. 查看 Linux 内核版本 以下两个命令都可以用

2020-10-01
Technique Linux Sundry
Technique Sundry Linux

Manjaro20.1下搭建Pytorch环境

1. 安装 cuda 环境 1sudo pacman -S python-pytorch-cuda 2. 安装 pytorch 环境 1pip install torch torchvision 也可以用其他命令比如 conda 等,具体可以参照 pytorch 官网。 3. 测试 1python 进入到 python 命令行后运行: 12import torchtorch.cuda.is_ava

2020-10-01
Technique Linux Manjaro
Technique Linux Manjaro

Mint20下查看nvidia显卡型号

1. 命令 12nvidia-smi # 显示 GPU 的实时信息nvidia-smi -L # 列出所有可用的 NVIDIA 设备信息 2. 参数含义 GPU:GPU 编号。 Name:GPU 型号。 Persistence-M:持续模式的状态。持续模式虽然耗能大,但是在新的GPU应用启动时,花费的时间更少,这里显示的是off的状态。 Fan:风扇转速,从0到100%之间变动。

2020-10-01
Technique Linux Mint
Technique Linux Mint

矩阵基本概念

1. 术语 概念/符号 含义 方阵 行数和列数相同的矩阵 长方矩阵 函数和列数可能不相同的矩阵 C\mathbb{C}C 复数域 R\mathbb{R}R 实数域 Sn\mathbb{S}^nSn nnn 阶对称阵全集 diag(d1,⋯ ,dn)\mathrm{diag}(d_1,\cdots,d_n)diag(d1​,⋯,dn​) 表示对角元素为 d1,⋯ ,

2020-09-29
Technique Math Theory 矩阵
Technique Math Theory 矩阵

Numpy数组

1. 概述 ndarray 数组要求数据类型一致,默认数据类型为 np.float64;显式更改数据类型需要使用 dtype 关键字。 2. axis 轴 Numpy 中 axis = n 对应 ndarray 的第 nnn 层 [],从最外层的 axis = 0,逐渐往内层递增。 3. 数组大小 & 维度 ndarray 数组维度元组 shape 为从最外层到最里层逐层的大小;从

2020-09-28
Technique Python Numpy
Technique Python Numpy
1…2930313233…56

搜索

Hexo Fluid