Toeplitz矩阵和循环矩阵 1. Toeplitz矩阵 1.1 定义 Toeplitz（特普利茨）矩阵又称为常对角矩阵，该矩阵每条左上至右下的对角线均为常数。Toeplitz矩阵 AAA 为满足以下条件的矩阵： Aij=Ai+1,j+1\begin{array}{c} A_{ij} = A_{i+1,j+1} \end{array} Aij=Ai+1,j+1 其一般形式为： A=[a0a−1⋯a−(n−1)a1a0⋯a 2020-10-24 Technique Math Theory 矩阵 Technique Math Theory 矩阵
图像处理经典网络 【注】本文采用 PyTorch 框架，基于 Fashion-MNIST 数据集。 1. LeNet LeNet分为卷积层块和全连接层块两个部分。 1.1 卷积层块 卷积层块⾥的基本单位是卷积层后接最⼤池化层：卷积层⽤来识别图像⾥的空间模式，如线条和物体局部，之后的最⼤池化层则⽤来降低卷积层对位置的敏感性。 在卷积层块中：每个卷积层都使⽤ 5×55 \times 55×5 的窗⼝，并在输出 2020-10-22 Technique DeepLearning Technique DeepLearning 深度学习
AdaDelta 1. 简介 AdaDelta 算法是 AdaGrad 算法的改进，和 RMSprop 算法类似，AdaDelta 算法通过梯度平方的指数衰减移动平均来调整学习率；此外，AdaDelta 算法还引入了每次参数更新差值 Δθ\Delta \thetaΔθ 的平方的指数衰减移动平均。 2. 原理 第 ttt 次迭代时： 首先计算参数更新差值 ΔW\Delta WΔW 的平方的指数衰减权值移动平均为： 2020-10-17 Technique DeepLearning 优化算法 Technique DeepLearning 深度学习 优化算法
RMSprop 1. 简介 RMSprop 算法是 AdaGrad 算法的改进，可以在有些情况下避免 AdaGrad 算法中学习率不断单调下降以至于过早衰减的缺点。 2. 原理 第 ttt 次迭代时： RMSprop 算法首先计算每次迭代梯度 ∂L∂W\frac{\partial L}{\partial \boldsymbol{W}}∂W∂L 平方的指数衰减移动平均： ht=βht−1+(1−β)∂L∂Wt 2020-10-17 Technique DeepLearning 优化算法 Technique DeepLearning 深度学习 优化算法
自动求梯度 【注】参考自邱锡鹏的《神经网络与深度学习》。 自动计算梯度的方法主要分为三类：数值微分、符号微分和自动微分。 1. 数值微分 1.1 原理 根据函数 f(x)f(x)f(x) 在点 xxx 处的导数的定义： f′(x)=limΔx→0f(x+Δx)−f(x)Δx\begin{array}{c} f^{'}(x) = \lim_{\Delta x \rightarrow 0} \frac 2020-10-17 Technique DeepLearning Technique DeepLearning 深度学习
径向矩 1. 定义 1.1 径向矩 径向矩定义为极坐标表示的空间中的图像，kkk 阶径向矩的定义为 Ψ(k,p,q,l)=∫r=0∞∫θ=02prk⋅cospθ⋅sinqθ⋅eikθ⋅g(r,θ)drdθ\Psi (k,p,q,l) = \int_{r=0}^{\infty} \int_{\theta = 0}^{2p} r^k \cdot \cos^p \theta \cdot \sin^q \th 2020-10-15 Technique Math Theory 图像矩 Technique 数学 Math Theory 图像矩
正交多项式 1. 定义 若函数 W(x)W(x)W(x) 在区间 (a,b) 可积，且 W(x)≥0 W(x) \geq 0 W(x)≥0，则 W(x)W(x)W(x) 可作为权函数。 对于一个多项式的序列 fif_ifi 和权函数 W(x)W(x)W(x)，定义内积 <fm,fn>=∫abfm(x)fn(x)W(x)dx\begin{array}{c} \lt f_m, f_n \gt = 2020-10-13 Technique Math Theory 数值分析 Technique 数学 Math Theory 数值分析
切比雪夫多项式 1. 简介 切比雪夫多项式是与棣莫弗定理有关，以递归方式定义的一系列正交多项式序列。通常，第一类切比雪夫多项式以符号 TnT_nTn 表示，第二类切比雪夫多项式用 UnU_nUn 表示。切比雪夫多项式 TnT_nTn 或 UnU_nUn 代表 nnn 阶多项式。 棣莫弗定理 棣莫弗定理是一个关于复数和三角函数的公式，其内容为：对任意复数 xxx 和整数 nnn，下列性质成立： (cos 2020-10-13 Technique Math Theory 数值分析 Technique 数学 Math Theory 数值分析
Ubuntu16.04上搭建VSCode+Python虚拟环境 1. 安装 virtualenv 包 1pip install virtualenv # 或者 pip3（具体看个人需要搭建的环境） 2. 建立存放虚拟文件的文件夹 1mkdir venv 3. 创建虚拟环境 1virtualenv --system-site-packages venv # --system-site-packages 参数表示拷贝系统 python 环境的 packages 2020-10-13 Technique Python Technique Python
PyTorch张量 1. 简介 tensor（张量）是 PyTorch 中的多维数组，类似与 Numpy 中的 ndarray 。 2. 张量类型 PyTorch 中张量一共有 101010 种类型： 张量类型 数据类型（dtype） 说明 torch.FloatTensor torch.float32 或 torch.float 323232 位浮点型（binary32，111 符号位 + 888 指 2020-10-11 Technique Python PyTorch Technique Python PyTorch