UA MATH567 高维统计II 随机向量5 亚高斯随机向量

UA MATH567 高维统计II 随机向量5 亚高斯随机向量

这一讲我们将亚高斯分布推广到高维。

亚高斯随机向量 X X X是一个 n n n维随机向量,称 X X X是亚高斯随机向量如果 ∀ x ∈ S n − 1 \forall x \in S^{n-1} xSn1 ⟨ X , x ⟩ \langle X,x \rangle X,x是亚高斯随机变量。其中 S n − 1 S^{n-1} Sn1 n n n维欧式空间中的单位球面,
S n − 1 = { x ∈ R n : ∥ x ∥ 2 = 1 } S^{n-1}=\{x\in \mathbb{R}^n:\left\|x \right\|_2=1\} Sn1={xRn:x2=1}

亚高斯随机向量的亚高斯范数
∥ X ∥ ψ 2 = sup ⁡ x ∈ S n − 1 ∥ ⟨ X , x ⟩ ∥ ψ 2 \left\| X \right\|_{\psi_2}=\sup_{x \in S^{n-1}}\left\| \langle X,x \rangle \right\|_{\psi_2} Xψ2=xSn1supX,xψ2

引理 假设随机向量 X X X的各个分量均是亚高斯、互相独立且零均值的,则 X X X是亚高斯随机向量,并且存在常数 C > 0 C>0 C>0
∥ X ∥ ψ 2 ≤ C sup ⁡ i = 1 , ⋯   , n ∥ X i ∥ ψ 2 \left\| X \right\|_{\psi_2}\le C\sup_{i=1,\cdots,n}\left\| X_i \right\|_{\psi_2} Xψ2Ci=1,,nsupXiψ2

证明
∀ x ∈ S n − 1 \forall x \in S^{n-1} xSn1,根据推广Hoeffding不等式的第一个结论
∥ ⟨ X , x ⟩ ∥ ψ 2 2 = ∥ ∑ i = 1 n x i X i ∥ ψ 2 2 ≤ C ∑ i = 1 n ∥ x i X i ∥ ψ 2 2 \left\| \langle X,x \rangle \right\|_{\psi_2}^2 = \left\| \sum_{i=1}^n x_iX_i \right\|_{\psi_2}^2 \le C \sum_{i=1}^n\left\| x_iX_i \right\|_{\psi_2}^2 X,xψ22=i=1nxiXiψ22Ci=1nxiXiψ22

根据范数的正齐次性,
C ∑ i = 1 n ∥ x i X i ∥ ψ 2 2 = C ∑ i = 1 n ∣ x i ∣ 2 ∥ X i ∥ ψ 2 2 ≤ C ∑ i = 1 n ∣ x i ∣ 2 max ⁡ ∥ X i ∥ ψ 2 2 = C max ⁡ ∥ X i ∥ ψ 2 2 C \sum_{i=1}^n\left\| x_iX_i \right\|_{\psi_2}^2 = C \sum_{i=1}^n |x_i|^2\left\| X_i \right\|_{\psi_2}^2 \le C \sum_{i=1}^n |x_i|^2\max \left\| X_i \right\|_{\psi_2}^2 \\ = C\max \left\| X_i \right\|_{\psi_2}^2 Ci=1nxiXiψ22=Ci=1nxi2Xiψ22Ci=1nxi2maxXiψ22=CmaxXiψ22

于是
∥ ⟨ X , x ⟩ ∥ ψ 2 2 ≤ C sup ⁡ i = 1 , ⋯   , n ∥ X i ∥ ψ 2 \left\| \langle X,x \rangle \right\|_{\psi_2}^2 \le C\sup_{i=1,\cdots,n}\left\| X_i \right\|_{\psi_2} X,xψ22Ci=1,,nsupXiψ2

事实上,在证明的第一步,我们也可以用范数的三角不等式得到:
∥ ∑ i = 1 n x i X i ∥ ψ 2 2 ≤ ∑ i = 1 n ∥ x i X i ∥ ψ 2 2 \left\| \sum_{i=1}^n x_iX_i \right\|_{\psi_2}^2 \le \sum_{i=1}^n\left\| x_iX_i \right\|_{\psi_2}^2 i=1nxiXiψ22i=1nxiXiψ22

spherical distribution是亚高斯向量
X ∼ U n i f ( n S n − 1 ) X \sim Unif(\sqrt{n}S^{n-1}) XUnif(n Sn1),则 X X X是亚高斯向量,且亚高斯范数有界。

证明
假设 g ∼ N ( 0 , I n ) g \sim N(0,I_n) gN(0,In),则 X = n g ∥ g ∥ 2 ∼ U n i f ( n S n − 1 ) X = \sqrt{n}\frac{g}{\left\| g \right\|_2} \sim Unif(\sqrt{n}S^{n-1}) X=n g2gUnif(n Sn1),根据对称性 ⟨ X , x ⟩ \langle X,x \rangle X,x具有相同的性质, ∀ x ∈ S n − 1 \forall x \in S^{n-1} xSn1,于是为了简化讨论,我们取 x = e 1 x=e_1 x=e1,于是 ⟨ X , x ⟩ = X 1 \langle X,x \rangle=X_1 X,x=X1,下面我们计算
P ( X 1 ≥ t ) = P ( n g 1 ∥ g ∥ 2 ≥ t ) = P ( g 1 ∥ g ∥ 2 ≥ t n ) P(X_1 \ge t)=P(\sqrt{n}\frac{g_1}{\left\| g \right\|_2} \ge t)=P(\frac{g_1}{\left\| g \right\|_2} \ge \frac{t}{\sqrt{n}}) P(X1t)=P(n g2g1t)=P(g2g1n t)

定义 E = { ∥ g ∥ 2 ≥ n 2 } \mathcal{E}=\{\left\| g \right\|_2 \ge \frac{\sqrt{n}}{2} \} E={g22n }第一讲我们讨论过, ∥ g ∥ 2 \left\| g \right\|_2 g2是亚高斯的,于是
P ( E C ) ≤ P ( ∣ ∥ g ∥ 2 − n ∣ > n 2 ) ≤ 2 e − c n , ∃ c > 0 P(\mathcal{E}^C) \le P(|\left\| g \right\|_2-\sqrt{n}|>\frac{\sqrt{n}}{2}) \le 2e^{-cn},\exists c>0 P(EC)P(g2n >2n )2ecn,c>0

计算
P ( g 1 ∥ g ∥ 2 ≥ t n ) = P ( g 1 ∥ g ∥ 2 ≥ t n , E ) + P ( g 1 ∥ g ∥ 2 ≥ t n , E C ) ≤ P ( g 1 ∥ g ∥ 2 ≥ t n , E ) + P ( E C ) ≤ P ( ∣ g 1 ∣ ≥ t 2 ) + P ( E C ) ≤ 2 e − t 2 8 + 2 e − c n P(\frac{g_1}{\left\| g \right\|_2} \ge \frac{t}{\sqrt{n}}) = P(\frac{g_1}{\left\| g \right\|_2} \ge \frac{t}{\sqrt{n}},\mathcal{E})+P(\frac{g_1}{\left\| g \right\|_2} \ge \frac{t}{\sqrt{n}},\mathcal{E}^C) \\ \le P(\frac{g_1}{\left\| g \right\|_2} \ge \frac{t}{\sqrt{n}},\mathcal{E})+P(\mathcal{E}^C) \le P(|g_1| \ge \frac{t}{2})+P(\mathcal{E}^C) \\ \le 2e^{-\frac{t^2}{8}}+2e^{-cn} P(g2g1n t)=P(g2g1n t,E)+P(g2g1n t,EC)P(g2g1n t,E)+P(EC)P(g12t)+P(EC)2e8t2+2ecn

第一项使用的是正态分布的上界,
1 − Φ ( t ) ≤ 1 2 π t e − t 2 / 2 1-\Phi(t) \le \frac{1}{\sqrt{2\pi} t}e^{-t^2/2} 1Φ(t)2π t1et2/2

下面分类讨论:

情况1,假设 t ≤ n t \le \sqrt{n} tn ,则 e − c n ≤ e − c t 2 e^{-cn} \le e^{-ct^2} ecnect2,于是上面的tail probability是亚高斯的;

情况2,如果 t > n t>\sqrt{n} t>n ,则 P ( ∣ X 1 ∣ ≥ t ) = 0 P(|X_1| \ge t)=0 P(X1t)=0,因为 ∣ X 1 ∣ ≤ ∥ X ∥ 2 = 2 |X_1| \le \left\| X \right\|_2=2 X1X2=2,上面的tail probability同样是亚高斯的;

投影极限定理(project limit theorem)
X ∼ U n i f ( n S n − 1 ) X \sim Unif(\sqrt{n}S^{n-1}) XUnif(n Sn1) ∀ x ∈ S n − 1 \forall x \in S^{n-1} xSn1 ⟨ X , x ⟩ d → N ( 0 , 1 ) , n → ∞ \langle X,x \rangle_d \to N(0,1),n \to \infty X,xdN(0,1),n

说明
在高维的情况下,正态分布与spherical distribution有非常紧密的联系,上上讲我们说明了在高维的情况下, N ( 0 , I n ) ≈ U n i f ( n S n − 1 ) N(0,I_n)\approx Unif(\sqrt{n}S^{n-1}) N(0,In)Unif(n Sn1);这个定理则说明 U n i f ( n S n − 1 ) Unif(\sqrt{n}S^{n-1}) Unif(n Sn1)沿球面 S n − 1 S^{n-1} Sn1任意半径的投影近似服从标准正态分布。

根据对称性,我们同样考虑 X 1 X_1 X1
X 1 = n g 1 ∥ g ∥ 2 X_1=\sqrt{n}\frac{g_1}{\left\| g \right\|_2} X1=n g2g1

根据弱大数定律与依概率收敛的性质,
n ∥ g ∥ 2 → p 1 \frac{\sqrt{n}}{\left\| g \right\|_2} \to_p 1 g2n p1

g 1 ∼ N ( 0 , 1 ) g_1 \sim N(0,1) g1N(0,1),所以 ⟨ X , x ⟩ \langle X,x \rangle X,x趋近于标准正态分布。

相关推荐
©️2020 CSDN 皮肤主题: 撸撸猫 设计师:马嘣嘣 返回首页