UA MATH567 高维统计I 概率不等式6 非零均值的亚高斯分布

UA MATH567 高维统计I 概率不等式6 非零均值的亚高斯分布

上一讲介绍的Hoeffding不等式仅适用于零均值的亚高斯分布,这一讲我们讨论非零均值的亚高斯分布的处理技巧。

Centering技巧 假设 X X X是亚高斯随机变量,则 X − E X X-EX XEX也是亚高斯随机变量,并且存在常数 C C C使得
∥ X − E X ∥ ψ 2 ≤ C ∥ X ∥ ψ 2 \left\| X-EX \right\|_{\psi_2} \le C\left\| X \right\|_{\psi_2} XEXψ2CXψ2

证明
根据亚高斯范数的三角不等式,
∥ X − E X ∥ ψ 2 ≤ ∥ X ∥ ψ 2 + ∥ E X ∥ ψ 2 \left\| X-EX \right\|_{\psi_2} \le \left\| X \right\|_{\psi_2} + \left\| EX \right\|_{\psi_2} XEXψ2Xψ2+EXψ2

根据上上讲的最后一个例子,我们把 E X EX EX当成一个有界的(随机)变量
∥ E X ∥ ψ 2 ≤ 1 ln ⁡ 2 ∣ E X ∣ ≤ 1 ln ⁡ 2 ∥ X ∥ L 1 \left\| EX \right\|_{\psi_2} \le \frac{1}{\sqrt{\ln 2}}|EX| \le \frac{1}{\sqrt{\ln 2}}\left\| X \right\|_{L^1} EXψ2ln2 1EXln2 1XL1

根据 X X X的亚高斯性, ∃ c > 0 \exists c>0 c>0
∥ X ∥ L 1 ≤ c ∥ X ∥ ψ 2 \left\| X \right\|_{L^1} \le c\left\| X \right\|_{\psi_2} XL1cXψ2

这样我们就说明了存在常数 C C C使得
∥ X − E X ∥ ψ 2 ≤ C ∥ X ∥ ψ 2 \left\| X-EX \right\|_{\psi_2} \le C\left\| X \right\|_{\psi_2} XEXψ2CXψ2

需要注意的是 C > 1 C>1 C>1,当 C = 1 C=1 C=1时这个不等式不成立,例如考虑 P ( X = − 1 ) = 1 − p , P ( X = 1 ) = p P(X=-1)=1-p,P(X=1)=p P(X=1)=1p,P(X=1)=p,则根据上上讲的例子,
∥ X ∥ ψ 2 = 1 ln ⁡ 2 \left\| X \right\|_{\psi_2}=\frac{1}{\sqrt{\ln 2}} Xψ2=ln2 1

考虑 Y = X − E X Y=X-EX Y=XEX,则
P ( Y = − 2 p ) = 1 − p , P ( Y = 2 − 2 p ) = p P(Y=-2p)=1-p,P(Y=2-2p)=p P(Y=2p)=1p,P(Y=22p)=p

计算期望
E e Y 2 / t 2 = p e ( 2 − 2 p ) 2 t 2 + ( 1 − p ) e 4 p 2 t 2 Ee^{Y^2/t^2}=pe^{\frac{(2-2p)^2}{t^2}}+(1-p)e^{\frac{4p^2}{t^2}} EeY2/t2=pet2(22p)2+(1p)et24p2

首先明确这个关于 t t t的函数是递减的,我们想做的是比较 ∥ X ∥ ψ 2 \left\| X \right\|_{\psi_2} Xψ2 ∥ Y ∥ ψ 2 \left\| Y \right\|_{\psi_2} Yψ2的大小,希望看到的结果是它们相等,
1 ln ⁡ 2 = inf ⁡ { t > 0 : E e Y 2 / t 2 ≤ 2 } \frac{1}{\sqrt{\ln 2}} = \inf\{t>0:Ee^{Y^2/t^2} \le 2\} ln2 1=inf{t>0:EeY2/t22}

假设取 t = 1 / ln ⁡ 2 t=1/\sqrt{\ln 2} t=1/ln2 ,但 E e Y 2 / t 2 Ee^{Y^2/t^2} EeY2/t2 p p p取某些值时比 2 2 2大,那么上面这个等式就不会成立,我们可以画图验证一下,下面是 E e Y 2 / t 2 Ee^{Y^2/t^2} EeY2/t2关于 p p p的图像,显然这个图像符合假设的情况,因此这个例子说明 C = 1 C=1 C=1并不能对任意亚高斯变量 X X X成立。
在这里插入图片描述

相关推荐
©️2020 CSDN 皮肤主题: 撸撸猫 设计师:马嘣嘣 返回首页