矩阵代数

矩阵代数 (Matrix Algebra)

矩阵代数（Matrix Algebra）是研究矩阵及其运算规则的数学分支，构成了线性代数的核心计算框架。在经济学与计量经济学中，矩阵代数是处理多变量系统、线性方程组、最优化问题和统计分析的基础语言。一个 $m \times n$ 矩阵 $\mathbf{A}$ 是由 $m$ 行、$n$ 列元素排列而成的矩形数组，记作 $\mathbf{A} = [a_{ij}]_{m \times n}$。

基本运算

矩阵的基本运算包括加法、标量乘法、矩阵乘法与转置。

矩阵加法要求两矩阵同型（行数列数相同），按元素逐项相加：若 $\mathbf{C} = \mathbf{A} + \mathbf{B}$，则 $c_{ij} = a_{ij} + b_{ij}$。加法满足交换律与结合律。

矩阵乘法中，$\mathbf{A}_{m \times n}$ 与 $\mathbf{B}_{n \times p}$ 的乘积 $\mathbf{C} = \mathbf{A}\mathbf{B}$ 是一个 $m \times p$ 矩阵，其中 $c_{ij} = \sum_{k=1}^{n} a_{ik} b_{kj}$。矩阵乘法不满足交换律（一般 $\mathbf{A}\mathbf{B} \neq \mathbf{B}\mathbf{A}$），但满足结合律与分配律。

转置运算将矩阵的行与列互换：$\mathbf{A}'$ 或 $\mathbf{A}^{\top}$ 满足 $a'_{ij} = a_{ji}$。转置满足 $(\mathbf{A}\mathbf{B})' = \mathbf{B}'\mathbf{A}'$。

特殊矩阵

在经济计量模型中，几类特殊矩阵尤为重要：

• 方阵（Square Matrix）：行数等于列数。方阵有行列式、逆矩阵、特征值等独特性质。
• 对称矩阵：$\mathbf{A} = \mathbf{A}'$。协方差矩阵、海森矩阵均为对称矩阵。
• 幂等矩阵：$\mathbf{A}^2 = \mathbf{A}$。投影矩阵是典型的幂等矩阵，在 OLS 中有核心应用。
• 正定矩阵：对任意非零向量 $\mathbf{x}$，二次型 $\mathbf{x}'\mathbf{A}\mathbf{x} > 0$。协方差矩阵、信息矩阵必须为正定。
• 对角矩阵：非对角线元素全为零。单位矩阵 $\mathbf{I}$（对角线全为 1）在矩阵代数中充当乘法单位元。

逆矩阵与线性方程组

对 $n \times n$ 方阵 $\mathbf{A}$，若存在 $\mathbf{A}^{-1}$ 使得 $\mathbf{A}\mathbf{A}^{-1} = \mathbf{A}^{-1}\mathbf{A} = \mathbf{I}$，则称 $\mathbf{A}$ 可逆（非奇异）。逆矩阵的性质包括 $(\mathbf{A}^{-1})^{-1} = \mathbf{A}$、$(\mathbf{A}\mathbf{B})^{-1} = \mathbf{B}^{-1}\mathbf{A}^{-1}$ 以及 $(\mathbf{A}')^{-1} = (\mathbf{A}^{-1})'$。

线性方程组 $\mathbf{A}\mathbf{x} = \mathbf{b}$ 当 $\mathbf{A}$ 可逆时有唯一解 $\mathbf{x} = \mathbf{A}^{-1}\mathbf{b}$。在计量经济学中，OLS 估计量 $\hat{\boldsymbol{\beta}} = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{y}$ 正是这一形式的直接应用——其中 $(\mathbf{X}'\mathbf{X})$ 的求逆是估计过程的核心步骤。

秩、迹与行列式

矩阵的秩定义为其线性无关的行（或列）的最大数目，记为 $\operatorname{rank}(\mathbf{A})$。满秩方阵可逆；降秩则意味列之间存在线性依赖，对应于多重共线性问题。秩满足 $\operatorname{rank}(\mathbf{A}\mathbf{B}) \leq \min(\operatorname{rank}(\mathbf{A}), \operatorname{rank}(\mathbf{B}))$。

迹是方阵对角线元素之和：$\operatorname{tr}(\mathbf{A}) = \sum_{i} a_{ii}$。迹满足循环不变性：$\operatorname{tr}(\mathbf{A}\mathbf{B}) = \operatorname{tr}(\mathbf{B}\mathbf{A})$，在推导Frisch-Waugh-Lovell 定理和方差分解中频繁使用。

行列式 $\det(\mathbf{A})$ 反映矩阵缩放体积的因子，可逆等价于 $\det(\mathbf{A}) \neq 0$。行列式满足乘积性质 $\det(\mathbf{A}\mathbf{B}) = \det(\mathbf{A})\det(\mathbf{B})$。

特征值与对角化

若 $\mathbf{A}\mathbf{v} = \lambda \mathbf{v}$（$\mathbf{v} \neq \mathbf{0}$），则 $\lambda$ 为 $\mathbf{A}$ 的特征值，$\mathbf{v}$ 为对应特征向量。对称矩阵的特征值均为实数且特征向量正交。谱分解 $\mathbf{A} = \mathbf{Q}\boldsymbol{\Lambda}\mathbf{Q}'$（$\mathbf{Q}$ 正交，$\boldsymbol{\Lambda}$ 对角）将矩阵表示为其特征系统，在主成分分析（PCA）和协方差矩阵估计中至关重要。

分块矩阵与求逆公式

在涉及多组变量的模型中，分块矩阵运算至关重要。将矩阵 $\mathbf{A}$ 按行列分割为子块后，其逆矩阵可通过分块求逆公式获得：

=

\]

其中 $\mathbf{F} = \mathbf{A}_{11} - \mathbf{A}_{12}\mathbf{A}_{22}^{-1}\mathbf{A}_{21}$ 称为 $\mathbf{A}_{22}$ 的舒尔补。该公式在推导 OLS 估计量的条件方差、计算偏相关系数及$\wiki{Frisch-Waugh-Lovell 定理}$的证明中起关键作用。

Kronecker 积与 Vec 算子

Kronecker 积 $\mathbf{A} \otimes \mathbf{B}$ 将 $m \times n$ 矩阵 $\mathbf{A}$ 与 $p \times q$ 矩阵 $\mathbf{B}$ 映射为 $mp \times nq$ 分块矩阵，其中第 $(i,j)$ 块为 $a_{ij}\mathbf{B}$。Kronecker 积的核心性质包括混合乘积 $(\mathbf{A} \otimes \mathbf{B})(\mathbf{C} \otimes \mathbf{D}) = \mathbf{A}\mathbf{C} \otimes \mathbf{B}\mathbf{D}$、转置 $(\mathbf{A} \otimes \mathbf{B})' = \mathbf{A}' \otimes \mathbf{B}'$ 以及逆 $(\mathbf{A} \otimes \mathbf{B})^{-1} = \mathbf{A}^{-1} \otimes \mathbf{B}^{-1}$（当 $\mathbf{A},\mathbf{B}$ 可逆）。

Vec 算子将矩阵按列堆叠为向量：$\operatorname{vec}(\mathbf{A}) = [\mathbf{a}_1', \mathbf{a}_2', \ldots, \mathbf{a}_n']'$。两者由恒等式 $\operatorname{vec}(\mathbf{A}\mathbf{B}\mathbf{C}) = (\mathbf{C}' \otimes \mathbf{A})\operatorname{vec}(\mathbf{B})$ 关联，该关系在推导$\wiki{似然方程}$、$\wiki{广义最小二乘法}$中协方差结构估计以及$\wiki{联立方程模型}$的向量化处理中不可或缺。

二次型与矩阵微积分

二次型 $\mathbf{x}'\mathbf{A}\mathbf{x} = \sum_i \sum_j a_{ij} x_i x_j$ 是标量函数的最常见矩阵表达。对称化后 $\mathbf{A}$ 可令其唯一：$\mathbf{x}'\mathbf{A}\mathbf{x} = \mathbf{x}'((\mathbf{A} + \mathbf{A}')/2)\mathbf{x}$。OLS 残差平方和 $\hat{\boldsymbol{\epsilon}}'\hat{\boldsymbol{\epsilon}}$ 即为二次型。矩阵求导规则使极值问题的处理系统化：$\partial(\mathbf{a}'\mathbf{x})/\partial\mathbf{x} = \mathbf{a}$、$\partial(\mathbf{x}'\mathbf{A}\mathbf{x})/\partial\mathbf{x} = (\mathbf{A} + \mathbf{A}')\mathbf{x}$（对称 $\mathbf{A}$ 时为 $2\mathbf{A}\mathbf{x}$）、$\partial(\log|\mathbf{A}|)/\partial\mathbf{A} = (\mathbf{A}^{-1})'$。这些规则在极大似然估计中推导得分函数与$\wiki{Fisher 信息矩阵}$时不可或缺。

计量经济学中的应用

矩阵代数为计量经济学提供了紧凑而强大的记法和推导工具。多元线性回归 $\mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\epsilon}$ 的 OLS 目标函数可写作 $\min_{\boldsymbol{\beta}} (\mathbf{y} - \mathbf{X}\boldsymbol{\beta})'(\mathbf{y} - \mathbf{X}\boldsymbol{\beta})$，一阶条件即为正规方程 $\mathbf{X}'\mathbf{X}\hat{\boldsymbol{\beta}} = \mathbf{X}'\mathbf{y}$。残差平方和可用投影矩阵 $\mathbf{M} = \mathbf{I} - \mathbf{X}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'$ 表达为 $\hat{\boldsymbol{\epsilon}}'\hat{\boldsymbol{\epsilon}} = \mathbf{y}'\mathbf{M}\mathbf{y}$，方差-协方差矩阵为 $\operatorname{Var}(\hat{\boldsymbol{\beta}}) = \sigma^2(\mathbf{X}'\mathbf{X})^{-1}$。矩阵求导规则（如 $\partial(\mathbf{a}'\mathbf{x})/\partial\mathbf{x} = \mathbf{a}$、$\partial(\mathbf{x}'\mathbf{A}\mathbf{x})/\partial\mathbf{x} = 2\mathbf{A}\mathbf{x}$ 对对称 $\mathbf{A}$）极大简化了一阶条件的推导。理解矩阵代数是深入学习广义最小二乘法、工具变量估计、联立方程模型等高级主题的必要前提。