1. 向量范数

1.1 $L_p$ 范数

$L_p$ 范数是向量空间中的一组范数。

1.1.1 定义

$$\begin{array}{c} L_p(\vec{x}) = |\vec{x}|_p = (\sum_{i=1}^n |x_i|^p)^{\frac{1}{p}} \end{array}$$

其中， $p \geq 1$，$\vec{x} = \{x_1,x_2,\cdots,x_n\}$ 。

1.1.2 分类

• $\displaystyle p = -\infty: |\vec{x}|_{\infty} = \lim_{p \rightarrow -\infty}(\sum_{i=1}^n |x_i|^p)^{\frac{1}{p}} = \min_i |x_i|$

• $\displaystyle p = 1: |\vec{x}|_1 = \sum_{i=1}^n |x_i|$，即 $L_1$ 范数是向量各分量绝对值之和，又称为曼哈顿距离。

• $\displaystyle p = 2: |\vec{x}|_2 = \sqrt{\sum_{i=1}^n |x_i|^2}$，$L_2$ 范数也称为欧式距离。

• $\displaystyle p = +\infty: |\vec{x}|_{\infty} = \lim_{p \rightarrow +\infty}(\sum_{i=1}^n |x_i|^p)^{\frac{1}{p}} = \max_i |x_i|$，$L_\infty$ 也称为无穷范数或最大范数。

2. 矩阵范数

设域 $K$ 上 $m$ 行 $n$ 列的矩阵空间 $K^{m \times n}$，则定义矩阵的范数为函数 $\parallel \cdot \parallel$：$K^{m \times n} \rightarrow \mathbb{R}$，且 $\forall \alpha \in K$，$\forall A,B \in K^{m \times n}$ 满足以下条件：

• $\parallel A \parallel \geq 0$，且 $\parallel A \parallel = 0 \Leftrightarrow A = 0_{m,n}$（严格正定性）
• $\parallel \alpha A \parallel = |\alpha| \parallel A \parallel$（线性性）
• $\parallel A + B \parallel \leq \parallel A \parallel + \parallel B \parallel$（三角不等式）

2.1 $L_p$ 范数诱导的矩阵范数

$$\begin{array}{c} |A|_p = \max_{x \ne 0} \frac{|Ax|_p}{|x|_p} = \max_{x \ne 0} \frac{(\sum_{i=1}^m |\sum_{j=1}^n a_{ij} x_j|^p)^{\frac{1}{p}}}{(\sum_{j=1}^n |x_j|^p)^{\frac{1}{p}}} \end{array}$$

• $\displaystyle p = 1: |A|_1 = \max_{1 \leq j \leq n} \sum_{i=1}^m |a_{ij}|$

• $\displaystyle p = 2: |A|_2 = \sqrt{\lambda_{\max}(A^*A)}$，此时诱导的矩阵范数称为谱范数，即为 $A$ 的最大奇异值，其中 $A^*$ 表示 A 的共轭转置。

• $\displaystyle p = \infty : |A|_{\infty} = \max_{1 \leq i \leq m} \sum_{j=1}^n |a_{ij}|$

2.2 Frobenius 范数

矩阵 $A$ 的 Frobenius 范数定义为

$$\lVert A \rVert_F = \sqrt{\sum_{i}^m \sum_j^n \lvert a_{ij} \rvert^2} = \sqrt{\mathrm{trace}(A^* A)} = \sqrt{\sum_{i=1}^{\min{\{m,n\}}} \sigma_{i}^2(A)}$$

其中，$A^*$ 表示 $A$ 的共轭转置，$\sigma_i$ 是 $A$ 的奇异值，$\mathrm{trace}$ 为迹函数。

附录

• Lp space

• Matrix norm