对称正定矩阵
对称正定矩阵(Symmetric Positive Definite Matrix,简称 SPD 矩阵)是同时满足对称性与正定性的实方阵:设 A∈Rn×n,若 AT=A 且对任意非零向量 x∈Rn∖{0} 有 xTAx>0,则称 A 为对称正定矩阵。若仅满足 xTAx≥0,则退化为对称半正定矩阵。SPD 矩阵是矩阵分析中结构最优美、应用最广泛的矩阵族之一,在优化理论、统计学与计量经济学中处于核心地位。
等价刻画
对称正定性拥有多个等价判定条件,实践中可视场景选用最便捷的判断方式:
特征值条件:A 对称正定 ⟺ A 的所有特征值严格为正。这是最本质的刻画——对称性保证实特征值与正交对角化 A=QΛQT,其中 Λ=diag(λ1,…,λn),λi>0。由此可得 A 的所有特征向量构成 Rn 的一组规范正交基。
Sylvester 准则:A 对称正定 ⟺ A 的所有顺序主子式(leading principal minors)严格为正:
det(A1:k,1:k)>0,k=1,2,…,n
其中 A1:k,1:k 为取前 k 行 k 列的子矩阵。该准则无需计算特征值,特别适用于中小规模矩阵的手工判定。
Cholesky 分解:A 对称正定 ⟺ 存在唯一的主对角元为正的下三角矩阵 L 使得 A=LLT。Cholesky 分解是 SPD 矩阵的"签名性质":它不仅是判定条件,更是数值计算的基础——求解 Ax=b 时,先解 Ly=b 再解 LTx=y,计算量仅为 LU 分解的一半且数值稳定性极佳。
二次型与半范数:A 对称正定 ⟺ 映射 x↦xTAx 定义了 Rn 上的一个范数(Mahalanobis 距离是其典型实例)。该范数的单位球 {x:xTAx=1} 是一个 n 维椭球,其主轴方向由 A 的特征向量确定,半轴长度等于 1/λi。
Gram 矩阵刻画:A 对称正定 ⟺ 存在满秩矩阵 B∈Rm×n(m≥n)使得 A=BTB。换言之,SPD 矩阵正是 Rn 中一组线性无关向量的 Gram 矩阵,其 (i,j) 元为向量 bi 与 bj 的内积。
基本性质
- 逆的保持性:若 A 对称正定,则 A−1 也是对称正定矩阵。这源于 A−1 的特征值为 1/λi>0。
- 对角元非负性:aii>0 对所有 i 成立。取 x=ei(标准基向量),则 eiTAei=aii>0。更一般地,maxi=j∣aij∣≤maxiaii——SPD 矩阵的最大元必出现在对角线上。
- 行列式与迹:det(A)=∏i=1nλi>0,tr(A)=∑i=1nλi>0。
- 凸锥结构:对称正定矩阵的集合是一个不包含原点的开凸锥:若 A,B 为 SPD,则对任意 α,β>0,αA+βB 也是 SPD。
- Loewner 偏序:在对称矩阵上定义偏序 A≻B⟺A−B 对称正定。该偏序在凸优化、矩阵分析中有广泛应用——例如 A≻B≻0 蕴涵 B−1≻A−1。
- 平方根矩阵:存在唯一的 SPD 矩阵 A1/2 使得 A1/2A1/2=A,即 A1/2=QΛ1/2QT。
经济学与计量经济学中的应用
协方差矩阵:多元统计分析中,任意非退化随机向量 X∈Rn 的协方差矩阵 Σ=E[(X−μ)(X−μ)T] 是对称半正定的;若各分量不存在精确线性关系,Σ 为对称正定。在多元线性回归中,误差协方差矩阵 E[εεT]=σ2I 为 SPD 的特殊情况;广义最小二乘法(GLS)中 E[εεT]=Ω(SPD)用于处理异方差与自相关。
Hessian 矩阵与凸优化:严格凸函数 f:Rn→R 的 Hessian 矩阵 ∇2f(x) 在所有点处对称正定。SPD Hessian 保证一阶条件 ∇f(x∗)=0 的解是唯一的全局极小值点——这构成了极大似然估计的渐近理论与牛顿法收敛性分析的基石。在计量经济学的极值估计(extremum estimation)框架中,目标函数 Qn(θ) 在真值 θ0 附近 Hessian 的正定性是参数识别的关键条件。
最优投资组合:Markowitz 均值-方差模型中,n 种风险资产的协方差矩阵 Σ 是 SPD。最小方差投资组合问题:
wminwTΣws.t.wT1=1
有唯一解析解 w∗=Σ−11/(1TΣ−11),该表达式依赖 Σ 的正定性。若 Σ 病态(最大与最小特征值之比过大),小估计误差可导致权重剧烈波动——这是实践中引入Lasso或岭回归正则化的重要原因。
Slutsky 矩阵:需求理论中,Slutsky 方程的替代矩阵为对称半负定矩阵,其负矩阵(即替代项的负值)为对称正定。Hicks 替代效应的负定性等价于显示偏好公理的一致性,是消费者理论中可检验的核心推论。
Karlin 等价特征:在投入产出分析中,Leontief 逆矩阵 (I−A)−1 的 SPD 性质保证了生产系统的可行性。在数值计算中,大规模稀疏 SPD 系统的求解可借助共轭梯度法,仅需矩阵-向量乘法而无需显式存储逆矩阵。
相关概念与扩展
对称正定矩阵的泛化包括正定算子(在 Hilbert 空间上,要求 ⟨Ax,x⟩>0 对所有 x=0 成立)与正定核(用于支持向量机与高斯过程的 Mercer 核 K(x,y) 对应无限维 SPD 矩阵)。统计学习中,核岭回归、高斯过程回归等方法的核心假设即 Gram 矩阵为正定,这保证了预测方差的非负性和模型计算的稳定性。
口诀:对称正定四等价——特征全正、主子式正、Cholesky 可分解、二次型恒正。协方差、Hessian、Slutsky——三块基石皆正定。