琴生不等式

1. 简介

琴生不等式（Jensen's inequality）是数学中重要的不等式之一，其给出了凸组合的函数值和函数值的凸组合之间的关系。

2. 表述

以函数 f:Rn→Rf:\mathbb{R}^n \rightarrow \mathbb{R} 为例：

2.1 凸凹函数

  • 函数 ff 为凸函数，当 ff 的定义域 domf\mathrm{dom} f 是凸集，且满足以下不等式：

∀x,y∈domf,0≤θ≤1f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)\begin{array}{c} \forall x, y \in \mathrm{dom} f, 0 \leq \theta \leq 1 \\ f(\theta x + (1-\theta)y) \leq \theta f(x) + (1-\theta) f(y) \\ \end{array}

  • 函数 ff 为凹函数，当 −f-f 是凸函数。

2.2 琴生不等式

当 ff 为凸函数时，对 ∀x1,⋯ ,xn∈domf\forall x_1, \cdots, x_n \in \mathrm{dom} f, θ1+⋯+θn=1,θ1,⋯ ,θn≥0\theta_1 + \cdots + \theta_n = 1, \theta_1, \cdots, \theta_n \geq 0, 有以下琴生等式成立：

f(θ1x1+⋯+θnxn)≤θ1f(x1)+⋯+θnf(xn)\begin{array}{lll} f(\theta_1 x_1 + \cdots + \theta_n x_n) \leq \theta_1 f(x_1) + \cdots + \theta_n f(x_n) \end{array}

证明：数学归纳法

  1. 基础情况：

当 n=1n = 1，显然有 f(θ1x1)=f(x1)≤θ1f(x1)f(\theta_1 x_1) = f(x_1) \leq \theta_1 f(x_1) 成立；

  1. 推理假设：

假设当 n=kn = k 时原命题成立，则当 n=k+1n = k+1 时有

f(θ1x1+⋯+θnxn+θn+1xn+1)=f((1−θn+1)(θ11−θn+1x1+⋯+θn1−θn+1xn)+θn+1xn+1)≤(1−θn+1)f(θ11−θn+1x1+⋯+θn1−θn+1xn)+θn+1f(xn+1)凸函数的定义≤(1−θn+1)(θ11−θn+1f(x1)+⋯+θn1−θn+1f(xn))+θn+1f(xn+1)推理假设=θ1f(x1)+⋯+θnf(xn)+θn+1f(xn+1)\begin{array}{llll} f(\theta_1 x_1 + \cdots + \theta_n x_n + \theta_{n+1} x_{n+1}) & = & f((1-\theta_{n+1})(\frac{\theta_1}{1-\theta_{n+1}}x_1 + \cdots + \frac{\theta_n}{1-\theta_{n+1}}x_n) + \theta_{n+1} x_{n+1}) \\ & \leq & (1-\theta_{n+1})f(\frac{\theta_1}{1-\theta_{n+1}}x_1 + \cdots + \frac{\theta_n}{1-\theta_{n+1}}x_n) + \theta_{n+1}f(x_{n+1}) & \text{凸函数的定义} \\ & \leq & (1-\theta_{n+1})(\frac{\theta_1}{1-\theta_{n+1}} f(x_1) + \cdots + \frac{\theta_n}{1-\theta_{n+1}} f(x_n)) + \theta_{n+1}f(x_{n+1}) & \text{推理假设} \\ & = & \theta_1 f(x_1) + \cdots + \theta_n f(x_n) + \theta_{n+1} f(x_{n+1}) \end{array}

综上，原命题成立。

Q.E.D.

3. 特例

3.1 概率论

若 ff 是任一凸函数，XX 为随机变量，则有

f(EX)≤Ef(X)\begin{array}{lll} f(E X) \leq E f(X) \end{array}

附录

参考资料：