MLE

最大似然估计 (MLE)

MLE→费雪→数理统计/计量最广参数估计法→核：给定观数→找参值→使观到这组数据概率（似然）最大→即"何参最可能产生已观样"。硬币例→10抛7正→候选p：0.5(概0.00097)，0.2(0.0000065)，0.7(0.00222)→MLE系统性找最大→$\hat{p}=7/10$→样比。

似然函数与求解

i.i.d.样→联合密度=$\prod f(x_i|\theta)$→视作$\theta$函=似然函数$L(\theta|\mathbf{x})$→区别概率($\theta$知下观数)→似然(数已观下$\theta$"合理")。对数似然：$\ell=\log L=\sum\log f(x_i|\theta)$→因$\log$严格单调增→最大化等价→化乘为加→简求稳数。

求解步：写PDF→构$L=\prod f$→取$\log$得$\ell$→对$\theta$求导令0→解似然方程→验海森矩阵负定。例①伯努利：$\ell=k\log p+(n-k)\log(1-p)$→$\hat{p}=k/n$。例②正态：$\ell=-\frac{n}{2}\log(2\pi\sigma^2)-\frac{1}{2\sigma^2}\sum(x_i-\mu)^2$→$\hat{\mu}=\bar{x}$，$\hat{\sigma}^2=n^{-1}\sum(x_i-\bar{x})^2$（注意有偏→无偏修正分母n-1）。

性质与应用

优性：①一致性→n→∞时依概率收敛真值。②渐进正态→$\sqrt{n}(\hat{\theta}-\theta_0)\to N(0,I(\theta_0)^{-1})$→费雪信息逆→检验/置信区间基。③渐进有效→达克拉美-拉奥下界→最小渐近方差→"大样最准"。④不变性→$\hat{\theta}_{MLE}$则$g(\hat{\theta}_{MLE})$亦MLE→如$\hat{\sigma}^2$→$\hat{\sigma}=\sqrt{\hat{\sigma}^2}$。

应用→线性回归/逻辑回归/泊松回归/生存分析/ARMA/GARCH→机器学习小交叉熵等价最大对数似然。局限：模设敏感(模错→偏且不一)→计算复杂(无解析→数值优化：牛顿法/梯度下降→收敛/局部最)→小样偏大→需细考。