矩阵乘法

矩阵乘法 (Matrix Multiplication)

矩阵乘法是线性代数中最核心的二元运算之一，它将两个矩阵 $A$ 和 $B$ 映射为第三个矩阵 $C = AB$。其精确定义赋予了矩阵作为线性变换表示的基础地位。与标量乘法不同，矩阵乘法的规则深刻反映了函数复合的结构，是理解高维线性系统的代数基石。

定义：行乘列

设 $A$ 为 $m \times n$ 矩阵，$B$ 为 $n \times p$ 矩阵，则乘积 $C = AB$ 是 $m \times p$ 矩阵，其第 $i$ 行第 $j$ 列元素为：

即 $A$ 的第 $i$ 行与 $B$ 的第 $j$ 列的内积，称为"行乘列"法则。前矩阵的列数必须等于后矩阵的行数（$n = n$），否则乘法无定义。这要求矩阵乘法对维度的约束极强：$A_{m \times n} B_{n \times p} = C_{m \times p}$。

核心性质：不可交换性

矩阵乘法最反直觉也最重要的性质是不满足交换律：一般地，$AB \neq BA$。即使 $A$ 和 $B$ 都是方阵，$AB$ 与 $BA$ 通常也不相等。例如：

这一不可交换性直接对应线性变换的复合顺序不可随意对调：先施加变换 $B$ 再施加 $A$，与先 $A$ 后 $B$ 效果完全不同。除交换律外，矩阵乘法满足：结合律 $(AB)C = A(BC)$；分配律 $A(B+C) = AB + AC$ 且 $(A+B)C = AC + BC$；单位矩阵 $I$ 满足 $IA = AI = A$。

作为线性变换的复合

矩阵乘法的深层意义在于它表示线性变换的复合。若 $A$ 代表线性变换 $T_A: \mathbb{R}^n \to \mathbb{R}^m$，$B$ 代表 $T_B: \mathbb{R}^p \to \mathbb{R}^n$，则乘积 $AB$ 代表复合变换 $T_A \circ T_B: \mathbb{R}^p \to \mathbb{R}^m$：

这一视角解释了为什么维度必须匹配：$B$ 的输出维度必须等于 $A$ 的输入维度，复合才有意义。同时也解释了结合律——复合函数天然满足结合律，因此矩阵乘法作为复合的代数表示也必然满足。

在计量经济学中的应用

计量经济学中矩阵乘法应用广泛。最小二乘估计公式 $\hat{\beta} = (X'X)^{-1} X' y$ 涉及多次矩阵乘法，每一步都必须满足维度匹配。OLS估计量的方差-协方差矩阵 $\mathrm{Var}(\hat{\beta}) = \sigma^2 (X'X)^{-1}$ 完全由矩阵乘法定义。帽子矩阵 $P = X(X'X)^{-1}X'$ 和残差制造矩阵 $M = I - P$ 也由矩阵乘法定义，且 $P + M = I$、$PM = 0$ 等性质皆由矩阵乘法的代数规则决定。

分块乘法与计算复杂度

矩阵乘法可以延伸为分块乘法：将矩阵按行和列划分子块后，只要子块间维度相容，分块矩阵相乘规则与普通矩阵乘法完全一致。这一技术在分块矩阵与回归的大样本推导中极为有用。朴素矩阵乘法复杂度为 $\mathcal{O}(n^3)$，Strassen算法降至约 $\mathcal{O}(n^{2.807})$。在深度学习中，矩阵乘法是GPU加速最核心的应用场景。

总结

矩阵乘法是线性代数中定义最精巧的运算。其不可交换性映射了变换顺序的不可对调，结合律保证了复合变换的代数自洽，而行乘列法则在OLS估计量、协方差矩阵、投影矩阵等计量经济学核心公式中反复出现。掌握矩阵乘法是理解一切以矩阵语言书写的统计与经济学理论的前提。