张量

张量 (Tensor)

张量（Tensor）是线性代数与微分几何中的核心概念，可视为标量（零阶张量）、向量（一阶张量）和矩阵（二阶张量）向任意维度的自然推广。张量提供了一种与坐标系选择无关的几何对象表示方法，使其在物理学（如广义相对论、连续介质力学）、机器学习（如深度学习框架 TensorFlow 和 PyTorch）以及计量经济学中均有广泛应用。张量的本质是一种多重线性映射：给定一个 $m$ 维向量空间 $V$ 及其对偶空间 $V^*$，一个 $(r, s)$ 型张量是将 $r$ 个对偶向量和 $s$ 个向量映射为一个标量的多重线性函数。

形式化定义

设 $V$ 是域 $\mathbb{R}$ 上的有限维向量空间，$V^*$ 为其对偶空间。一个$(r, s)$ 型张量（或称 $r$ 阶逆变、$s$ 阶协变张量）是一个多重线性映射：

其阶（Order 或 Rank）为 $r + s$。在选定基底 $\{\mathbf{e}_1, \ldots, \mathbf{e}_n\}$ 和对偶基底 $\{\mathbf{e}^1, \ldots, \mathbf{e}^n\}$ 后，张量可表示为分量形式：

其中 $T^{i_1 \cdots i_r}_{j_1 \cdots j_s}$ 为张量分量，上指标对应逆变（contravariant）分量，下指标对应协变（covariant）分量，$\otimes$ 表示张量积，且采用爱因斯坦求和约定省略求和号。

协变与逆变

张量分量的上标与下标并非任意的记号惯例，而是反映了坐标变换下的不同行为。设坐标变换矩阵为 $\Lambda^i_j = \frac{\partial x'^i}{\partial x^j}$：

• 逆变分量（上指标）：按 $T'^i = \Lambda^i_j T^j$ 变换，即随基底变换而同向变换。
• 协变分量（下指标）：按 $T'_i = (\Lambda^{-1})^j_i T_j$ 变换，即与基底变换反向变换。

这一区分在黎曼几何中至关重要。度规张量 $g_{ij}$ 是二阶协变张量，其逆 $g^{ij}$ 为二阶逆变张量，两者用于指标的升降：$T_i = g_{ij} T^j$，$T^i = g^{ij} T_j$。在经济学应用中，当分析效用函数在不同商品度量单位下的不变性时，张量分析提供了自然的数学语言。

张量运算

张量支持多种基本运算：

张量积：若 $A$ 为 $(r, s)$ 型，$B$为 $(p, q)$ 型，则 $A \otimes B$ 为 $(r+p, s+q)$ 型张量，其分量为两者的乘积：

缩并（Contraction）：将一个上指标与一个下指标配对并求和，使张量阶数降低 2。例如，对 $(1,1)$ 型张量 $T^i_j$ 的缩并得到标量 $\sum_i T^i_i$，即矩阵的迹。

内积：先做张量积再做缩并。向量点积 $\mathbf{u} \cdot \mathbf{v} = u_i v^i$ 即为一阶张量经度规作用后的缩并。

张量分解

在高维数据分析中，CP分解（CANDECOMP/PARAFAC）和Tucker分解是两种核心的张量分解方法。对于三阶张量 $\mathcal{X} \in \mathbb{R}^{I \times J \times K}$：

• CP分解将张量表示为秩一分量之和：$\mathcal{X} \approx \sum_{r=1}^{R} \lambda_r \, \mathbf{a}_r \circ \mathbf{b}_r \circ \mathbf{c}_r$。
• Tucker分解引入核张量：$\mathcal{X} \approx \mathcal{G} \times_1 A \times_2 B \times_3 C$，其中 $\mathcal{G}$ 为核张量，$A, B, C$ 为因子矩阵。

这些分解在推荐系统、计量经济学的面板数据建模以及计量心理学中用于从多维数据中提取潜在结构。

物理学中的应用

张量在物理学中的核心地位源于其坐标无关性：物理定律用张量形式表达时，在所有参考系中保持相同形式。在广义相对论中，爱因斯坦场方程：

其中 $R_{\mu\nu}$ 为里奇张量，$g_{\mu\nu}$ 为度规张量，$T_{\mu\nu}$ 为应力-能量张量。该方程完全以二阶张量表述，描述了时空曲率与物质分布的耦合关系。在连续介质力学中，应力张量 $\sigma_{ij}$ 和应变张量 $\varepsilon_{ij}$ 均为二阶张量，用于描述材料内部力与形变的关系，广义胡克定律即表述为 $\sigma_{ij} = C_{ijkl} \varepsilon_{kl}$，其中 $C_{ijkl}$ 为四阶弹性张量。

经济学与机器学习中的张量

在经济学中，张量方法正日益受到重视。多产品需求系统的弹性矩阵本质上是二阶张量，其在不同商品分类方案下的变换遵循张量规则。面板数据中个体 $\times$ 时间 $\times$ 变量的三维结构天然适合张量建模。在计量经济学的交错双重差分（Staggered DiD）估计中，处理效应随组别和时间变化的异质性可借助张量展开方法进行降维与估计。

在机器学习领域，张量是深度学习框架的基本数据结构。TensorFlow 和 PyTorch 中的"Tensor"即为任意维度的多维数组。卷积神经网络中的特征图（Batch $\times$ Height $\times$ Width $\times$ Channel）是四阶张量，Transformer 中的注意力权重（Batch $\times$ Heads $\times$ SeqLen $\times$ SeqLen）同样为四阶张量。张量运算的 GPU 并行化是当代人工智能算力的基石。此外，词嵌入矩阵（词汇量 $\times$ 嵌入维度）是二阶张量，批量处理后的嵌入张量（Batch $\times$ SeqLen $\times$ EmbedDim）则为三阶张量，体现了张量维度随数据组织方式灵活变化的特点。

对称张量与反称张量

张量的对称性是重要的代数性质。对于二阶张量 $T_{ij}$：若 $T_{ij} = T_{ji}$，则称该张量为对称张量。度规张量 $g_{ij}$、应力张量 $\sigma_{ij}$ 均为对称张量，对称性意味着相应物理量在方向互换下保持不变。若 $T_{ij} = -T_{ji}$，则称该张量为反称张量。电磁张量 $F_{\mu\nu}$ 是物理学中最重要的反称张量之一，其六个独立分量统一描述了电场和磁场。任意二阶张量可唯一分解为对称部分与反称部分之和：$T_{ij} = T_{(ij)} + T_{[ij]}$，其中 $T_{(ij)} = \frac{1}{2}(T_{ij} + T_{ji})$，$T_{[ij]} = \frac{1}{2}(T_{ij} - T_{ji})$。这一分解在连续介质力学中将应变率张量分离为纯变形与旋转两个独立物理过程。在高阶张量中，全对称张量（如弹性张量 $C_{ijkl}$ 满足 $C_{ijkl} = C_{jikl} = C_{ijlk} = C_{klij}$）通过对称性约束大幅减少了独立分量数目，从而简化本构关系的参数估计。

与线性代数的关系

张量可视为线性代数向高阶的自然拓展，但两者之间存在本质差异。矩阵的秩（rank）定义为线性无关行（或列）的最大数目，而张量的秩定义为将其表示为秩一张量之和所需的最小项数，两者对于三阶及以上张量并不等价。此外，矩阵的谱分解和奇异值分解有自然的高阶推广，但高阶张量的最佳低秩逼近可能不存在，这一现象在矩阵中不会发生——这凸显了张量问题的独特复杂性与研究价值。