误差函数 1. 平方误差 对于单个数据来说，其平方误差为 E=12∑k(yk−tk)2\begin{array}{c} E = \frac{1}{2} \sum_{k} (y_k - t_k)^2 \end{array} E=21∑k(yk−tk)2 其中，yky_kyk 表示神经网络的输出，tkt_ktk 表示监督数据（ttt 采用 one-hot 编码），kkk 表示数据的维度。 对 2020-09-28 Technique DeepLearning Technique DeepLearning 深度学习
MoorePenrose伪逆 1. 简介 Moore-Penrose 伪逆常用于求解或简化非一致线性方程组的最小范数最小二乘解。其在实数域和复数域上都是唯一的，并且可以通过奇异值分解求得。 2. 定义 矩阵 AAA 的伪逆定义为 A+=limα→0(ATA+αI)−1AT\begin{array}{c} A^+ = \lim_{\alpha \rightarrow 0}(A^T A + \alpha I)^{-1} A^T 2020-09-27 Technique Math Theory 矩阵 Technique 数学 Math Theory 矩阵
范数 1. 向量范数 1.1 LpL_pLp 范数 LpL_pLp 范数是向量空间中的一组范数。 1.1.1 定义 Lp(x⃗)=∣x⃗∣p=(∑i=1n∣xi∣p)1p\begin{array}{c} L_p(\vec{x}) = |\vec{x}|_p = (\sum_{i=1}^n |x_i|^p)^{\frac{1}{p}} \end{array} Lp(x)=∣x∣p=(∑i=1n∣ 2020-09-27 Technique Math Theory 矩阵 Technique 数学 Math Theory 矩阵
条件数 1. 简介 数值分析中，函数的条件数衡量的是输入参数的微小变化可以使函数的输出值变化多少，用来测量函数输出对于输入的微小变化的敏感程度，或者说一个问题的条件数是该数量在数值计算中容易程度的衡量。一个低条件数的问题称为良置的，而高条件数的问题称为病态（非良置）的。 2. 定义 给定问题 fff，输入 xxx 以及用于求解问题的算法 f~\tilde{f}f~，则绝对误差定义为 E(f~(x))=∣ 2020-09-27 Technique Math Theory 数值分析 Technique 数学 Math Theory 数值分析
正负定矩阵 1. 正定矩阵 1.1 定义 在实数域下，一个 n×nn \times nn×n 的实对称矩阵 MMM 是正定的，当且仅当对于所有的非零实系数向量 zzz 都有 zTMz>0z^T M z \gt 0zTMz>0 。 在复数域下，一个 n×nn \times nn×n 的埃尔米特矩阵 MMM 是正定的当且仅当对于每个非零的复向量 zzz 都有 z∗Mz>0z^* M z 2020-09-27 Technique Math Theory 矩阵 Technique 数学 Math Theory 矩阵
激活函数 常见激活函数及其导数： 1. Sigmoid 函数 【注】Sigmoid 型函数是指一类 S 型曲线函数，为两端饱和函数。常用的 Sigmoid 型函数有 Logistic 函数和 Tanh 函数。 1.1 Logistic 函数 定义：σ(x)=11+e−x\sigma(x) = {1 \over 1 + e^{-x}} σ(x)=1+e−x1 Logistic 函数常用来产生伯努 2020-09-26 Technique DeepLearning Technique DeepLearning 机器学习&深度学习
数字世界中常见函数 1. 狄利克雷函数 英文名称为「Dirac Delta Function」。 1.1 简介 狄利克雷函数在除零以外的点取值均为 0，但在整个定义域上的积分为 1。δ\deltaδ 函数可以看作是在原点处无限高、无限细，但总面积为 1 的一个尖峰。 1.2 定义 δ(x)={+∞x=00x≠0∫−∞+∞δ(x)dx=1\begin{array}{c} \delta(x) = \begin{cases 2020-09-26 Technique Math Theory Technique 数学 Math Theory
快速傅里叶变换 【注】参考自算法导论。 1. 简介 快速傅里叶变换（FFT）是实现离散傅里叶变换（DFT）和离散傅里叶逆变换（IDFT）的快速算法，其时间复杂度为 O(nlogn)O(n \log n)O(nlogn)。DFT 在实际生活中有很多应用，比如通过离散傅里叶变换，可以将系数表示的多项式转为点值表示的多项式，从而使得多项式的乘法的复杂度由 O(n2)O(n^2)O(n2) 降为 O(n)O(n)O(n 2020-09-24 Technique ACM 算法 数学 Technique ACM 算法 数学 数学 算法
快速傅里叶变换 【注】参考自算法导论。 1. 简介 快速傅里叶变换（FFT）是实现离散傅里叶变换（DFT）和离散傅里叶逆变换（IDFT）的快速算法，其时间复杂度为 O(nlogn)O(n \log n)O(nlogn)。DFT 在实际生活中有很多应用，比如通过离散傅里叶变换，可以将系数表示的多项式转为点值表示的多项式，从而使得多项式的乘法的复杂度由 O(n2)O(n^2)O(n2) 降为 O(n)O(n)O(n 2020-09-24 Technique ACM 算法 数学 Technique ACM 算法 数学 数学 算法
离散余弦变换 1. 简介 离散余弦变换类似于离散傅里叶变换，但是只使用实数。离散余弦变换相当于一个长度大概是它两倍的离散傅里叶变换。 2. 定义 离散余弦变换是一个线性的可逆函数 F:Rn→RnF: R^n \rightarrow R^nF:Rn→Rn，其中 RRR 是实数集。 2.1 DCT-1 fm=12(x0+(−1)mxn−1)+∑k=1n−2xkcos(πn−1mk)\begin{array}{c} 2020-09-23 Technique Math Theory 傅里叶变换 Technique 数学 Math Theory 傅里叶变换