Normal-Inverse Gamma Mixture简介

Normal-Inverse Gamma Mixture简介

假设 X ∣ γ ∼ N ( μ , γ ) , γ ∼ I G ( α , β ) X|\gamma \sim N(\mu,\gamma),\gamma \sim IG(\alpha,\beta) XγN(μ,γ),γIG(α,β),称 X X X的分布是Normal-Inverse Gamma Mixture,这个mixture在贝叶斯统计中有非常广泛的应用。

应用一:正态方差的共轭分布
先写出 X , γ X,\gamma X,γ的联合概率密度
p ( X , γ ) ∝ ( γ − 1 / 2 e − ( X − μ ) 2 2 γ ) ( γ − ( α + 1 ) e − β γ ) = γ − ( α + 3 2 ) e − 1 γ ( β + ( X − μ ) 2 2 ) p(X,\gamma) \propto \left( \gamma^{-1/2}e^{-\frac{(X-\mu)^2}{2\gamma}} \right) \left( \gamma^{-(\alpha+1)}e^{-\frac{\beta}{\gamma}} \right) \\ = \gamma^{-(\alpha+\frac{3}{2})}e^{-\frac{1}{\gamma}(\beta+\frac{(X-\mu)^2}{2})} p(X,γ)(γ1/2e2γ(Xμ)2)(γ(α+1)eγβ)=γ(α+23)eγ1(β+2(Xμ)2)

这是inverse gamma的kernel,于是
γ ∣ X ∼ I G ( α + 1 2 , β + ( X − μ ) 2 2 ) \gamma|X \sim IG(\alpha+\frac{1}{2},\beta+\frac{(X-\mu)^2}{2}) γXIG(α+21,β+2(Xμ)2)

这说明当总体是正态分布时且均值已知时,逆伽马分布是总体方差的共轭分布。

应用二:构造t分布
我们写出 X , γ X,\gamma X,γ联合概率密度的完整形式
p ( X , γ ) = ( 2 π ) − 1 / 2 γ − 1 / 2 e − ( X − μ ) 2 2 γ β α 1 Γ ( α ) γ − ( α + 1 ) e − β γ = β α 2 π Γ ( α ) γ − ( α + 3 2 ) e − 1 γ ( β + ( X − μ ) 2 2 ) p(X,\gamma)=(2\pi)^{-1/2}\gamma^{-1/2}e^{-\frac{(X-\mu)^2}{2 \gamma}}\beta^{\alpha} \frac{1}{\Gamma(\alpha)}\gamma^{-(\alpha+1)}e^{-\frac{\beta}{\gamma}} \\ = \frac{\beta^\alpha{}}{\sqrt{2 \pi} \Gamma(\alpha)}\gamma^{-(\alpha+\frac{3}{2})}e^{-\frac{1}{\gamma}(\beta+\frac{(X-\mu)^2}{2})} p(X,γ)=(2π)1/2γ1/2e2γ(Xμ)2βαΓ(α)1γ(α+1)eγβ=2π Γ(α)βαγ(α+23)eγ1(β+2(Xμ)2)

然后计算 X X X的边缘密度
p ( X ) = ∫ γ > 0 p ( X , γ ) d γ = β α 2 π Γ ( α ) ∫ γ > 0 γ − ( α + 3 2 ) e − 1 γ ( β + ( X − μ ) 2 2 ) d γ = β α 2 π Γ ( α ) Γ ( α + 1 2 ) [ β + ( X − μ ) 2 2 ] α + 1 2 = Γ ( α + 1 2 ) 2 β π Γ ( α ) [ 1 + ( X − μ ) 2 2 β ] − 2 α + 1 2 p(X)=\int_{\gamma>0}p(X,\gamma)d\gamma \\ = \frac{\beta^\alpha{}}{\sqrt{2 \pi} \Gamma(\alpha)} \int_{\gamma>0}\gamma^{-(\alpha+\frac{3}{2})}e^{-\frac{1}{\gamma}(\beta+\frac{(X-\mu)^2}{2})}d\gamma \\ = \frac{\beta^\alpha{}}{\sqrt{2 \pi} \Gamma(\alpha)} \frac{\Gamma(\alpha+\frac{1}{2})}{[\beta+\frac{(X-\mu)^2}{2}]^{\alpha+\frac{1}{2}}} \\ = \frac{\Gamma(\alpha+\frac{1}{2})}{\sqrt{2 \beta \pi}\Gamma(\alpha)}\left[ 1+\frac{(X-\mu)^2}{2 \beta} \right]^{-\frac{2\alpha+1}{2}} p(X)=γ>0p(X,γ)dγ=2π Γ(α)βαγ>0γ(α+23)eγ1(β+2(Xμ)2)dγ=2π Γ(α)βα[β+2(Xμ)2]α+21Γ(α+21)=2βπ Γ(α)Γ(α+21)[1+2β(Xμ)2]22α+1

这是一个具有一般性的式子,但在一些特殊的取值下它就变成了我们熟悉的分布:

  1. β = α \beta=\alpha β=α,则这个分布是t分布 t 2 α t_{2 \alpha} t2α
  2. α = β = 1 / 2 \alpha=\beta=1/2 α=β=1/2,这个分布是Cauchy分布 C ( 0 , μ ) C(0,\mu) C(0,μ)

在统计计算中,可以使用这个技巧将t分布或者Cauchy分布的采样替换为Normal-Inverse Gamma mixture的采样。

已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 撸撸猫 设计师:C马雯娟 返回首页