马尔可夫不等式

1. 简介

在概率论中,马尔可夫不等式(Markov's Inequality)给出了随机变量大于等于某正数的概率上界。马尔可夫不等式把概率关联到数学期望,给出了随机变量累计分布函数一个宽泛但仍有用的上界。

2. 定义

假设 X\boldsymbol{X} 是一个非负的随机变量,常数 a>0a \gt 0,则有以下马尔可夫不等式

P(Xa)E(X)a\begin{array}{c} P(\boldsymbol{X} \geq a) \leq \frac{E(\boldsymbol{X})}{a} \end{array}

证明

根据期望函数的定义:

E(X)=xf(x)dx\begin{array}{c} E(\boldsymbol{X}) = \int_{-\infty}^{\infty} xf(x) \mathrm{d}x \end{array}

由于 X\boldsymbol{X} 是非负的随机变量,因此:

E(X)=xf(x)dx=0xf(x)dx=0axf(x)dx+axf(x)dx0xf(x)dxaaf(x)dx=aP(Xa)\begin{array}{rl} E(\boldsymbol{X}) & = \int_{-\infty}^{\infty} xf(x) \mathrm{d}x = \int_{0}^{\infty} xf(x) \mathrm{d}x \\ & = \int_{0}^{a} xf(x) \mathrm{d}x + \int_{a}^{\infty} xf(x) \mathrm{d}x \\ & \geq \int_{0}^{\infty} xf(x) \mathrm{d}x \\ & \geq \int_{a}^{\infty} af(x) \mathrm{d}x \\ & = a P(\boldsymbol{X} \geq a) \end{array}

从而证得:

P(Xa)E(X)a\begin{array}{c} P(\boldsymbol{X} \geq a) \leq \frac{E(\boldsymbol{X})}{a} \end{array}

3. 推论

3.1 切比雪夫不等式

将马尔可夫不等式中非负的随机变量 X\boldsymbol{X} 替换成 (XE(X))2(\boldsymbol{X} - E(\boldsymbol{X}))^2,正常数 aa 写成 a2a^2a0a \geq 0),则得到切比雪夫不等式:

P((XE(X))2a2)Var(X)a2P(XE(X)a)Var(X)a2\begin{array}{c} P((\boldsymbol{X} - E(\boldsymbol{X}))^2 \geq a^2) \leq \frac{Var(\boldsymbol{X})}{a^2} \\ \Downarrow \\ P(|\boldsymbol{X} - E(\boldsymbol{X})| \geq a) \leq \frac{Var(\boldsymbol{X})}{a^2} \end{array}

3.2 分位函数

对于一个非负的随机变量 X\boldsymbol{X},它的分位函数 QXQ_{\boldsymbol{X}} 满足以下不等式:

QX(1p)E(X)p\begin{array}{c} Q_{\boldsymbol{X}}(1-p) \leq \frac{E(\boldsymbol{X})}{p} \end{array}

证明

p1P(X<QX(1p))=P(XQX(1p))E(X)QX(1p)\begin{array}{c} p \leq 1 - P(\boldsymbol{X} \lt Q_{\boldsymbol{X}}(1-p)) = P(\boldsymbol{X} \geq Q_{\boldsymbol{X}}(1-p)) \leq \frac{E(\boldsymbol{X})}{Q_{\boldsymbol{X}}(1-p)} \end{array}

附录

参考资料:


本博客所有文章除特别声明外,均采用 CC BY-SA 4.0 协议 ,转载请注明出处!