UA MATH567 高维统计I 概率不等式3 亚高斯性与亚高斯范数

UA MATH567 高维统计I 概率不等式3 亚高斯性与亚高斯范数

概率不等式1中介绍了Hoeffding不等式与Chernoff不等式,这两个不等式的共性是它们的上界关于 t t t的递减阶数都是指数级的,这类上界有非常好的性质,比如尾部概率迅速降低,概率集中在分布中心位置等。但这两个不等式使用条件非常受限,只能适用于Bernoulli分布或者有界的分布,这一讲我们要尝试的是寻找具有尾部概率递减阶数满足 e − c t 2 e^{-ct^2} ect2的所有可能的分布,注意到 e − c t 2 e^{-ct^2} ect2这个形式就是正态的kernel,而正态分布,比如 X ∼ N ( 0 , 1 ) X \sim N(0,1) XN(0,1),也满足
P ( ∣ X ∣ ≥ t ) ≤ e − t 2 / 2 P(|X| \ge t) \le e^{-t^2/2} P(Xt)et2/2

所以我们称满足这个条件的分布为亚高斯分布 (sub-Gaussian distribution)。

亚高斯性

亚高斯性 (sub-Gaussian property)

  1. 尾部概率条件: P ( ∣ X ∣ ≥ t ) ≤ 2 exp ⁡ ( − t 2 / K 1 2 ) , ∀ t ≥ 0 P(|X|\ge t) \le 2\exp(-t^2/K_1^2),\forall t\ge 0 P(Xt)2exp(t2/K12),t0
  2. 矩条件: ∥ X ∥ L p ≤ K 2 p , ∀ p ≥ 1 \left\| X \right\|_{L^p} \le K_2\sqrt{p},\forall p \ge 1 XLpK2p ,p1
  3. 矩母函数条件: E e λ 2 X 2 ≤ exp ⁡ ( K 3 2 λ 2 ) , ∀ ∣ λ ∣ ≤ 1 / K 3 Ee^{\lambda^2 X^2} \le \exp(K_3^2\lambda^2),\forall |\lambda| \le 1/K_3 Eeλ2X2exp(K32λ2),λ1/K3
  4. 矩母函数上界: E e X 2 / K 4 2 ≤ 2 Ee^{X^2/K_4^2} \le 2 EeX2/K422
  5. 矩母函数又一个条件: E e λ X ≤ exp ⁡ ( K 5 2 λ 2 ) , ∀ λ ∈ R , E X = 0 Ee^{\lambda X} \le \exp(K_5^2 \lambda^2),\forall \lambda \in \mathbb{R}, EX=0 EeλXexp(K52λ2),λR,EX=0

这五个条件是等价的,我们称满足这五个条件中的任何一个的随机变量为亚高斯随机变量。我们下一讲简单分析一下这五条性质。

亚高斯范数

在亚高斯随机变量空间上可以定义亚高斯范数(sub-Gaussian norm):
∥ X ∥ ψ 2 = inf ⁡ { t > 0 : E e X 2 / t 2 ≤ 2 } \left\|X \right\|_{\psi_2} = \inf\{t>0:Ee^{X^2/t^2} \le 2\} Xψ2=inf{t>0:EeX2/t22}

我们先验证一下这个定义的确是范数:

  1. 非负性:
    非负是显然的,我们考虑是否有 ∥ X ∥ ψ 2 = 0 ⇔ X = 0 , a . s . \left\|X \right\|_{\psi_2}=0 \Leftrightarrow X = 0,a.s. Xψ2=0X=0,a.s.,后者直接能推出前者,而前者成立意味着 ∀ t > 0 \forall t>0 t>0, E e X 2 / t 2 ≤ 2 Ee^{X^2/t^2} \le 2 EeX2/t22,根据Markov不等式(对 ∣ X ∣ |X| X g ( x ) = e x 2 / t 2 g(x)=e^{x^2/t^2} g(x)=ex2/t2 P ( ∣ X ∣ > ϵ ) ≤ e − ϵ 2 / t 2 E e X 2 / t 2 ≤ 2 e − ϵ 2 / t 2 → 0 , ∀ 0 < t < < ϵ P(|X|>\epsilon) \le e^{-\epsilon^2/t^2}Ee^{X^2/t^2} \le 2e^{-\epsilon^2/t^2} \to 0,\forall 0<t<<\epsilon P(X>ϵ)eϵ2/t2EeX2/t22eϵ2/t20,0<t<<ϵ因此 ∥ X ∥ ψ 2 = 0 ⇒ X = 0 , a . s . \left\|X \right\|_{\psi_2}=0 \Rightarrow X = 0,a.s. Xψ2=0X=0,a.s.

  2. 正齐次性: ∀ λ ∈ R \forall \lambda \in \mathbb{R} λR
    ∥ λ X ∥ ψ 2 = inf ⁡ { t > 0 : E e λ 2 X 2 / t 2 ≤ 2 } = ∣ λ ∣ inf ⁡ { t > 0 : E e λ 2 X 2 / ( λ t ) 2 ≤ 2 } = ∣ λ ∣ ∥ X ∥ ψ 2 \left\|\lambda X \right\|_{\psi_2} = \inf\{t>0:Ee^{\lambda^2X^2/t^2} \le 2\} \\ =|\lambda|\inf\{t>0:Ee^{\lambda^2X^2/(\lambda t)^2} \le 2\}=|\lambda|\left\|X \right\|_{\psi_2} λXψ2=inf{t>0:Eeλ2X2/t22}=λinf{t>0:Eeλ2X2/(λt)22}=λXψ2

  3. 三角不等式:
    s = ∥ X ∥ ψ 2 , t = ∥ X ∥ ψ 2 s=\left\| X \right\|_{\psi_2},t=\left\| X \right\|_{\psi_2} s=Xψ2,t=Xψ2,对于函数 f ( x ) = e x 2 f(x)=e^{x^2} f(x)=ex2,用Jensen不等式: f ( X + Y s + t ) ≤ f ( ∣ X ∣ + ∣ Y ∣ s + t ) ≤ t s + t f ( ∣ X ∣ t ) + s s + t f ( ∣ Y ∣ s ) f\left(\frac{X+Y}{s+t}\right)\le f\left(\frac{|X|+|Y|}{s+t}\right) \\\le \frac{t}{s+t}f\left(\frac{|X|}{t}\right)+\frac{s}{s+t}f\left(\frac{|Y|}{s}\right) f(s+tX+Y)f(s+tX+Y)s+ttf(tX)+s+tsf(sY)对这个式子两端计算期望: E exp ⁡ ( X + Y s + t ) 2 ≤ t s + t E exp ⁡ ( ∣ X ∣ t ) 2 + s s + t E exp ⁡ ( ∣ Y ∣ s ) 2 ≤ 2 E\exp\left(\frac{X+Y}{s+t}\right)^2 \\ \le \frac{t}{s+t}E\exp\left(\frac{|X|}{t}\right)^2+\frac{s}{s+t}E\exp\left(\frac{|Y|}{s}\right)^2 \le 2 Eexp(s+tX+Y)2s+ttEexp(tX)2+s+tsEexp(sY)22因此 ∥ X + Y ∥ ψ 2 ≤ s + t \left\| X+Y \right\|_{\psi_2}\le s+t X+Yψ2s+t

这个范数是非常有用的,因为亚高斯性的五个条件中,每个不等式都一个参数,我们可以用亚高斯范数统一这些参数:参数 C , c > 0 C,c>0 C,c>0

  1. 尾部概率条件: P ( ∣ X ∣ ≥ t ) ≤ 2 exp ⁡ ( − c t 2 / ∥ X ∥ ψ 2 2 ) , ∀ t ≥ 0 P(|X|\ge t) \le 2\exp(-ct^2/\left\|X \right\|_{\psi_2}^2),\forall t\ge 0 P(Xt)2exp(ct2/Xψ22),t0
  2. 矩条件: ∥ X ∥ L p ≤ C ∥ X ∥ ψ 2 p , ∀ p ≥ 1 \left\| X \right\|_{L^p} \le C\left\|X \right\|_{\psi_2}\sqrt{p},\forall p \ge 1 XLpCXψ2p ,p1
  3. 矩母函数条件: E e X 2 / ∥ X ∥ ψ 2 2 ≤ 2 Ee^{X^2/\left\|X \right\|_{\psi_2}^2} \le 2 EeX2/Xψ222
  4. 矩母函数又一个条件: E e λ X ≤ exp ⁡ ( C λ 2 ∥ X ∥ ψ 2 2 ) , ∀ λ ∈ R , E X = 0 Ee^{\lambda X} \le \exp(C \lambda^2\left\|X \right\|_{\psi_2}^2),\forall \lambda \in \mathbb{R}, EX=0 EeλXexp(Cλ2Xψ22),λR,EX=0
已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 撸撸猫 设计师:C马雯娟 返回首页