因子分析

因子分析 (Factor Analysis)

因子分析（Factor Analysis）是一类经典的多元统计方法，旨在通过少数不可直接观测的潜在变量（即<ruby>公共因子<rt>common factors</rt></ruby>）来解释一组可观测变量之间的相关或协方差结构。其核心思想是：$p$个观测指标之间的共变关系在很大程度上可由$k \ll p$个潜在公共因子驱动，而每个变量中无法由公共因子解释的部分则归因于其特有的<ruby>误差项<rt>idiosyncratic component</rt></ruby>。因子分析起源于Charles Spearman于1904年提出的"单一一般智力因子"理论（即$g$因子），后经Thurstone（1947）、Lawley和Maxwell等人系统发展，现已成为心理学、社会学、市场营销和金融学等领域的核心降维工具。与主成分分析（PCA）不同，因子分析并不以方差最大化导向的线性变换为目标，而是从变量的共享方差（communality）出发，建立具有明确统计推断基础的潜在变量模型。

正交因子模型

设$\mathbf{x} = (x_1, x_2, \dots, x_p)'$为$p$维可观测随机向量，其均值为$\boldsymbol{\mu}$，协方差矩阵为$\boldsymbol{\Sigma}$。正交因子模型将$\mathbf{x}$表示为：

其中$\mathbf{f} = (f_1, \dots, f_k)'$为$k$个公共因子向量（$k < p$），满足$\mathrm{E}(\mathbf{f}) = \mathbf{0}$、$\mathrm{Cov}(\mathbf{f}) = \mathbf{I}_k$；$\boldsymbol{\varepsilon} = (\varepsilon_1, \dots, \varepsilon_p)'$为特殊因子向量，满足$\mathrm{E}(\boldsymbol{\varepsilon}) = \mathbf{0}$、$\mathrm{Cov}(\boldsymbol{\varepsilon}) = \boldsymbol{\Psi} = \mathrm{diag}(\psi_1, \dots, \psi_p)$，且$\mathrm{Cov}(\mathbf{f}, \boldsymbol{\varepsilon}) = \mathbf{0}$。$\mathbf{L} = [\ell_{ij}]$为$p \times k$的<ruby>因子载荷矩阵<rt>loading matrix</rt></ruby>，其元素$\ell_{ij}$度量第$i$个变量在第$j$个公共因子上的载荷。

在该模型下，$\mathbf{x}$的协方差矩阵可分解为：

第$i$个变量的方差因此被分解为$\sigma_{ii} = h_i^2 + \psi_i$，其中$h_i^2 = \sum_{j=1}^k \ell_{ij}^2$称为<ruby>共同度<rt>communality</rt></ruby>，反映该变量方差中能被公共因子解释的比例；而$\psi_i$则为<ruby>特殊方差<rt>uniqueness</rt></ruby>或独特性。

参数估计方法

因子载荷和特殊方差的估计通常采用以下三种方法之一：

• 主因子法（Principal Factor Method）：以$\hat{\boldsymbol{\Sigma}} - \hat{\boldsymbol{\Psi}}$的谱分解为基础，取前$k$个特征值对应的特征向量构造载荷矩阵。初始$\hat{\boldsymbol{\Psi}}$通常取为$\hat{\boldsymbol{\Sigma}}$的对角元与$h_i^2$的某种初始估计之差（如$SMC$，即多元回归的$R^2$）。
• 极大似然法（ML Factor Analysis）：在$\mathbf{x}$服从多元正态分布的假定下，通过最大化似然函数$L(\boldsymbol{\mu}, \mathbf{L}, \boldsymbol{\Psi})$迭代求解。该方法具有良好的大样本性质（一致性、渐近正态性），并支持模型拟合的似然比检验。
• 广义最小二乘法（GLS）：最小化$(\mathbf{S} - \hat{\boldsymbol{\Sigma}})'\mathbf{W}^{-1}(\mathbf{S} - \hat{\boldsymbol{\Sigma}})$，其中$\mathbf{W}$为加权矩阵，兼具渐近效率。

因子旋转

因子载荷矩阵$\mathbf{L}$并非唯一——对于任意正交矩阵$\mathbf{T}$（$k \times k$，满足$\mathbf{T}\mathbf{T}' = \mathbf{I}_k$），$\mathbf{L}^* = \mathbf{L}\mathbf{T}$与$\mathbf{f}^* = \mathbf{T}'\mathbf{f}$同样满足模型假定。这种<ruby>旋转不变性<rt>rotational indeterminacy</rt></ruby>为寻求更易解释的因子结构提供了灵活性。常用旋转方法包括：

• 正交旋转：如<ruby>Varimax</ruby>（方差最大化旋转），通过最大化各因子载荷的方差使每个因子仅与少数变量高度相关，从而获得"简单结构"（simple structure）。
• 斜交旋转：如<ruby>Oblimin</ruby>和<ruby>Promax</ruby>，允许因子之间相互关联，更贴近社会科学中潜在构念通常存在关联的现实。

因子得分

在估计出载荷矩阵后，可对$k$个公共因子进行评分。常用方法包括<ruby>回归法<rt>regression method</rt></ruby>（Thompson, 1951）和<ruby>Bartlett方法</ruby>（Bartlett, 1937），前者最小化因子得分的均方误差，后者则要求因子得分对真实因子的无偏性。

确认性与探索性因子分析

因子分析按研究目的分为两大分支：

• 探索性因子分析（EFA）：在无先验理论约束的前提下，从数据出发自动确定因子数目与载荷模式，适合理论构建的早期阶段。
• 确认性因子分析（CFA）：事先设定因子结构与载荷约束（如零载荷模式），通过结构方程模型（SEM）框架检验该结构是否拟合数据，适用于理论检验与量表验证。

应用与局限

在心理学中，因子分析是人格特质（如大五人格、卡特尔16PF）量表的构建基石，也广泛用于临床心理学中的精神病理学维度识别和神经心理学中的认知功能评估。在金融学中，因子模型（如Fama-French三因子模型、Carhart四因子模型）利用因子分析思路系统刻画资产收益率的截面差异；在市场营销中，消费者满意度调查和品牌感知图（perceptual mapping）大量依赖EFA与CFA。在社会学中，因子分析常用于社会 stratification 研究中的社会经济地位指数构建；在教育学中，学业成就测试的结构效度验证几乎离不开CFA。

然而，因子分析亦存在明显局限：首先，对正态性假定敏感，当变量严重偏离正态时基于ML的估计和标准误可能出现偏误；其次，样本量要求较高——虽然经验法则通常建议$n \geq 5p$以上，但在共同度较低或因子数目较多时可能需要$n \geq 10p$甚至更高；第三，因子数目的确定（如特征值大于1准则、碎石图、平行分析、贝叶斯信息准则等）具有较强主观性，不同准则可能给出截然不同的结论；第四，旋转方法的选择可能严重影响结论的可重复性和理论解释，研究者默认使用Varimax而不加论证的做法近年来屡遭批评。此外，因子分析属于线性模型，无法捕捉变量之间的非线性关系，而将连续潜在因子离散化也可能导致信息损失。因此，研究者应结合理论框架、交叉验证与多种诊断指标审慎使用该方法。

与主成分分析的区别

因子分析与主成分分析（PCA）在哲学基础、数学假设和目标上存在本质区别。PCA只对可观测变量的方差结构进行正交变换，不假设潜变量存在，不产生误差项$\boldsymbol{\varepsilon}$；而因子分析明确假设观测变量是潜在因子的线性组合加误差的体现。PCA解释的是总方差，因子分析解释的是协方差（共享方差）。实践中，当共同度较高（$h_i^2 > 0.7$）时两种方法结果趋于一致，但在共同度较低时差异显著。