结构化数据

结构化数据 (Structured Data)

结构化数据→严格按预定义数据模型组织的信息→最典型形态为行列二维表格→每一行代表一条记录（观测）→每一列代表一个字段（属性/变量）→所有字段的数据类型、长度、约束条件均事先声明。核心范式为模式优先：数据在写入前必须符合既定模式→与非结构化数据和半结构化数据形成三级分类体系。存储主力为关系数据库→通过SQL进行声明式查询→支撑OLTP（事务处理）与OLAP（分析处理）两大场景。

核心特征与理论基础

模式定义：每个字段预定义名称、数据类型（INTEGER/FLOAT/VARCHAR/DATE/BOOLEAN）、精度、是否允许NULL、默认值以及CHECK约束→数据完整性由DBMS在写入时强制校验→杜绝脏数据入库。关系模型：E.F. Codd于1970年提出→数据以关系（表）形式组织→表间通过外键关联→实体-关系建模用ER图刻画→范式化（1NF→2NF→3NF→BCNF）消除冗余与更新异常→是结构化数据的理论基石。

行式存储与列式存储：传统RDBMS以行式为主→一行数据连续存放→适合频繁增删改的事务场景→单行读写高效。数据仓库倾向于列式存储→同一列数据连续存放→分析查询仅扫描相关列→压缩率高→聚合运算极快→典型格式：Parquet/ORC→列存引擎：ClickHouse、Vertica。

三级数据分类体系

现代数据管理将数据分为三类：结构化数据→严格模式、表格形态、SQL可查→约占数据总量20\%但价值密度最高→精度、一致性、可计算性强。非结构化数据→文本、图像、视频、音频→无预定义模式→占全球数据量80\%以上→存储于数据湖或对象存储→需NLP/CV等技术提取信息。半结构化数据→JSON/XML/YAML等自描述格式→有结构但模式灵活→字段可嵌套、可缺失→介于两者之间→NoSQL文档数据库天然适配。

结构化数据的独特优势：统计建模可直接导入→无需复杂预处理→变量类型明确→缺失值可系统性处理→因果关系推断有据可依→是计量经济学和统计推断的首选数据形态。

经济学与金融学中的结构化数据

计量经济学核心数据格式：横截面数据（同一时点多个体→如家庭调查）、时间序列数据（单一个体多时点→如季度GDP）、面板数据（多个体多时点→如上市公司面板）→三者均以结构化表格存储→一行一观测、一列一变量→Stata/R/Python的DataFrame/Tibble/data.table均假定了结构化范式→哑变量、对数变换、滞后项均通过列运算完成。

国民经济核算：GDP支出表→列：消费/投资/政府购买/净出口→行：年份季度→标准二维结构。投入产出表→行列均为产业部门→矩阵式结构化→Leontief逆矩阵运算直接作用于表格。国际收支平衡表→经常账户/资本账户/金融账户→IMF SDDS标准化字段。

金融数据：OHLCV行情→开盘价/最高价/最低价/收盘价/成交量→六个固定字段→日频/分钟级/逐笔→彭博/Wind/CRSP/Compustat导出均为结构化表。上市公司财务三表→资产负债表/利润表/现金流量表→科目代码+金额+报告期→XBRL标准化电子披露格式→结构化数据的监管应用典范。央行统计：货币供应量M0/M1/M2时间序列→存款性公司概览→社会融资规模→均为固定频率的结构化指标。

存储与计算技术栈

关系数据库管理系统→MySQL/PostgreSQL/SQL Server/Oracle→ACID事务保证→适合在线交易→经典三层架构：存储引擎→查询优化器→执行引擎。数据仓库→Snowflake/BigQuery/Redshift→面向分析→星型模式（事实表+维度表）与雪花模式→ETL/ELT管道将业务库数据结构化汇聚→构建数据集市→BI工具（Tableau/Power BI）直接消费。

SQL是结构化数据的通用语言：SELECT-FROM-WHERE-GROUP BY-HAVING-ORDER BY→声明式→优化器自动选择执行计划→JOIN实现表间关联→窗口函数（ROW\_NUMBER/RANK/LAG/LEAD）支持复杂分析→子查询与CTE实现分层逻辑→ANSI/ISO标准→跨平台可移植。

局限、互补与演进

模式僵化：业务需求变更→需ALTER TABLE→DDL操作在巨型表上代价高昂→可能引发锁表停机。多值字段与嵌套：传统关系模型要求原子性（1NF）→多维数据（如一个产品多标签）需额外关联表→现代RDBMS引入JSON/JSONB类型补灵活→但核心范式未变。Schema-on-Read：Hadoop/Spark等大数据框架→数据写入时不验模式→读取时再解析→赋予灵活性→但失去写入时的完整性校验。

前沿趋势：Lakehouse架构（Delta Lake/Iceberg/Hudi）→数据湖上建仓→ACID事务于湖上→统一结构化/半结构化/非结构化的治理与查询→SQL可直接查询Parquet文件→结合Apache Spark/Presto/Trino等分布式查询引擎→结构化数据边界模糊化→但其"固定模式、强类型、高一致性"的核心价值持久。

结构化数据的实际生成路径：日常经济统计中→调查问卷→录入系统→预定义字段（年龄/收入/职业）→CSV/Excel/SQL表→此为最经典结构化管道。金融交易→每笔交易有时间戳/金额/对手方/交易类型→天然结构化→实时写入OLTP库→夜间ETL入仓→形成结构化分析层。API返回的JSON虽属半结构化→但经解析后展平成表→归入结构化分析。

记忆：结构化数据=事先有模式→表格存储→SQL查询→RDBMS/数据仓库→计量统计的天然数据形态→与非结构化/半结构化三分数据世界→价值密度最高、分析路径最短。