范数

1. 向量范数

1.1 LpL_p 范数

LpL_p 范数是向量空间中的一组范数。

1.1.1 定义

Lp(x)=xp=(i=1nxip)1p\begin{array}{c} L_p(\vec{x}) = |\vec{x}|_p = (\sum_{i=1}^n |x_i|^p)^{\frac{1}{p}} \end{array}

其中, p1p \geq 1x={x1,x2,,xn} \vec{x} = \{x_1,x_2,\cdots,x_n\}

1.1.2 分类

  • p=:x=limp(i=1nxip)1p=minixi\displaystyle p = -\infty: |\vec{x}|_{\infty} = \lim_{p \rightarrow -\infty}(\sum_{i=1}^n |x_i|^p)^{\frac{1}{p}} = \min_i |x_i|

  • p=1:x1=i=1nxi\displaystyle p = 1: |\vec{x}|_1 = \sum_{i=1}^n |x_i| ,即 L1L_1 范数是向量各分量绝对值之和,又称为曼哈顿距离。

  • p=2:x2=i=1nxi2\displaystyle p = 2: |\vec{x}|_2 = \sqrt{\sum_{i=1}^n |x_i|^2} L2L_2 范数也称为欧式距离。

  • p=+:x=limp+(i=1nxip)1p=maxixi\displaystyle p = +\infty: |\vec{x}|_{\infty} = \lim_{p \rightarrow +\infty}(\sum_{i=1}^n |x_i|^p)^{\frac{1}{p}} = \max_i |x_i| LL_\infty 也称为无穷范数或最大范数。

2. 矩阵范数

设域 KKmmnn 列的矩阵空间 Km×nK^{m \times n},则定义矩阵的范数为函数 \parallel \cdot \parallelKm×nRK^{m \times n} \rightarrow \mathbb{R},且 αK\forall \alpha \in KA,BKm×n\forall A,B \in K^{m \times n} 满足以下条件:

  • A0\parallel A \parallel \geq 0,且 A=0A=0m,n\parallel A \parallel = 0 \Leftrightarrow A = 0_{m,n}(严格正定性)
  • αA=αA\parallel \alpha A \parallel = |\alpha| \parallel A \parallel(线性性)
  • A+BA+B\parallel A + B \parallel \leq \parallel A \parallel + \parallel B \parallel(三角不等式)

2.1 LpL_p 范数诱导的矩阵范数

Ap=maxx0Axpxp=maxx0(i=1mj=1naijxjp)1p(j=1nxjp)1p\begin{array}{c} |A|_p = \max_{x \ne 0} \frac{|Ax|_p}{|x|_p} = \max_{x \ne 0} \frac{(\sum_{i=1}^m |\sum_{j=1}^n a_{ij} x_j|^p)^{\frac{1}{p}}}{(\sum_{j=1}^n |x_j|^p)^{\frac{1}{p}}} \end{array}

  • p=1:A1=max1jni=1maij\displaystyle p = 1: |A|_1 = \max_{1 \leq j \leq n} \sum_{i=1}^m |a_{ij}|

  • p=2:A2=λmax(AA)\displaystyle p = 2: |A|_2 = \sqrt{\lambda_{\max}(A^*A)} ,此时诱导的矩阵范数称为谱范数,即为 AA 的最大奇异值,其中 AA^* 表示 A 的共轭转置。

  • p=:A=max1imj=1naij\displaystyle p = \infty : |A|_{\infty} = \max_{1 \leq i \leq m} \sum_{j=1}^n |a_{ij}|

2.2 Frobenius 范数

矩阵 AA 的 Frobenius 范数定义为

AF=imjnaij2=trace(AA)=i=1min{m,n}σi2(A)\lVert A \rVert_F = \sqrt{\sum_{i}^m \sum_j^n \lvert a_{ij} \rvert^2} = \sqrt{\mathrm{trace}(A^* A)} = \sqrt{\sum_{i=1}^{\min{\{m,n\}}} \sigma_{i}^2(A)}

其中,AA^* 表示 AA 的共轭转置,σi\sigma_iAA 的奇异值,trace\mathrm{trace} 为迹函数。

附录


本博客所有文章除特别声明外,均采用 CC BY-SA 4.0 协议 ,转载请注明出处!