贝叶斯后验分布

贝叶斯后验分布 (Bayesian Posterior)

贝叶斯后验分布=贝叶斯统计核→观数据后对未知参数$\theta$更新信念/概率分→将先验信与数据信结合→形成综合概率描→贝叶斯学习过程：从初信(先验)出发→经新证(数据)更新→得更新完可靠信(后验)。

贝叶斯定理与后验

贝叶斯定理：$P(\theta|D)=\frac{P(D|\theta)P(\theta)}{P(D)}$→$P(\theta|D)=\wiki{后验}$→$P(D|\theta)=\wiki{似然}$→$P(\theta)=\wiki{先验}$→$P(D)=\wiki{边际似然}/\wiki{证据}$（不依$\theta$→归一化常数→保后验总积=1）。常简化：$\underbrace{P(\theta|D)}_{后验}\propto\underbrace{P(D|\theta)}_{似然}\times\underbrace{P(\theta)}_{先验}$→后验=似然×先验。

硬币例：共轭先验→先验$\theta\sim\text{Beta}(\alpha,\beta)$→数据：n抛h正→似然二项$\binom{n}{h}\theta^h(1-\theta)^{n-h}$→后验$\propto\theta^{h+\alpha-1}(1-\theta)^{n-h+\beta-1}$→即$\theta|D\sim\text{Beta}(h+\alpha,n-h+\beta)$→先验后验同族→极大简计（共轭性）。

后验使用与计算

点估：后验均值$E[\theta|D]$→平方误损最优（上例$\frac{h+\alpha}{n+\alpha+\beta}$）；MAP后验众数；后验中位→对异常值不敏。区间：可信区间→$P(a\le\theta\le b|D)=0.95$→比频率置信区间更直观→直量$\theta$落区间概。检验：直算$P(\theta>0.5|D)=\int_{0.5}^1P(\theta|D)d\theta$→提供对设直证力度。

计算挑战：复杂模（高维/非标）→无析解→归一化$P(D)$难→依计算方法：MCMC（吉布斯/Metropolis-Hastings→构马尔可夫链→平布=后验→大量抽样近）；变分推断VI→找简单可析$q(\theta)$逼后验→转化优题→比MCMC快→可能牺精度。核→贝叶斯后验=系统结先验与数据→为知参供整灵活概率描→实现深刻直观统计推断。