100天跟着CP学PostgreSQL+AI,第11天 : AI 时代的数据库设计：从 ER 图到特征工程思维

作者介绍：崔鹏，计算机学博士，专注 AI 与大数据管理领域研究，拥有十五年数据库、操作系统及存储领域实战经验，兼具 ORACLE OCM、MySQL OCP 等国际权威认证，PostgreSQL ACE，运营技术公众号 "CP 的 PostgreSQL 厨房"，持续输出数据库技术洞察与实践经验。作为全球领先专网通信公司核心技术专家，深耕数据库高可用、高性能架构设计，创新探索 AI 在数据库领域的应用落地，其技术方案有效提升企业级数据库系统稳定性与智能化水平。学术层面，已在AI方向发表2篇SCI论文,将理论研究与工程实践深度结合，形成独特的技术研发视角。

系列文章介绍

第一阶段 : 基础筑基期（第 1-30 天：PostgreSQL 与 AI 技术扫盲）

主要内容

主题：AI 时代的数据库设计：从 ER 图到特征工程思维

核心内容：维度建模 vs 特征建模 / 如何设计可复用的 AI 训练数据集表结构

实践案例：设计一个通用的时序数据特征表（支持设备传感器数据）

正文

在人工智能蓬勃发展的今天，数据作为 AI 模型的 “燃料”，其重要性不言而喻。而数据库作为数据存储和管理的核心，其设计理念也在随着 AI 时代的需求发生深刻变革。传统的基于 ER 图的数据库设计主要服务于业务流程和事务处理，而在 AI 时代，我们需要从特征工程的思维出发，更加注重数据对 AI 模型训练和应用的支持。本文将围绕维度建模与特征建模的对比，以及如何设计可复用的 AI 训练数据集表结构展开讨论，并通过实践案例介绍一个通用的时序数据特征表设计。

一、维度建模 vs 特征建模

（一）维度建模

维度建模是一种面向分析的数据库设计方法，它主要用于数据仓库和商业智能领域。其核心思想是将数据分为事实表和维度表，事实表存储具体的业务数据和度量值，维度表则存储用于描述事实的上下文信息，如时间、地点、用户等。维度建模的优点是结构清晰、易于理解和查询，能够满足复杂的分析需求。例如，在电商数据仓库中，事实表可以存储订单的交易金额、数量等信息，维度表可以存储用户信息、商品信息、时间信息等。通过维度建模，我们可以方便地进行各种维度的分析，如按时间分析销售额、按地区分析商品销量等。

（二）特征建模

特征建模则是从 AI 模型训练的需求出发，将数据转化为模型可以直接使用的特征。在 AI 领域，特征是指从原始数据中提取出来的、对模型预测有价值的信息。特征建模的目的是设计出高质量、可复用的特征，以提高模型的性能和效率。与维度建模相比，特征建模更加注重数据的语义和业务逻辑，需要结合具体的业务场景和模型需求进行设计。例如，在预测用户流失的模型中，我们需要从用户的历史行为数据、账户信息、交互数据等中提取出有用的特征，如用户的登录频率、消费金额、客服沟通次数等。

（三）两者对比

二、如何设计可复用的 AI 训练数据集表结构

（一）明确业务需求和模型目标

在设计 AI 训练数据集表结构之前，首先需要明确业务需求和模型目标。不同的业务场景和模型目标需要不同的特征，因此需要与业务团队和算法团队进行充分的沟通，了解他们的需求和期望。例如，如果是用于预测设备故障的模型，需要收集设备的传感器数据、运行日志、维护记录等信息，并从中提取出与故障相关的特征。

（二）数据标准化和清洗

数据标准化和清洗是设计可复用数据集表结构的重要环节。不同数据源的数据可能存在格式不一致、缺失值、异常值等问题，需要进行统一的标准化处理，如数据类型转换、单位统一、缺失值填充、异常值处理等。同时，要建立数据质量监控机制，确保数据的准确性和完整性。

（三）特征原子化和组合

特征原子化是指将特征分解为最基本的、不可再分的单元，以提高特征的复用性和灵活性。例如，将用户的年龄、性别、地域等作为原子特征，而不是将它们组合成一个复杂的特征。同时，也可以根据业务需求和模型目标，对原子特征进行组合和变换，生成新的特征，如用户的年龄与消费金额的比值、地域与购买频率的关联等。

（四）元数据管理

元数据是描述数据的数据，包括数据的定义、来源、处理方式、质量等信息。建立完善的元数据管理体系可以帮助开发人员和算法人员更好地理解和使用数据，提高数据的可复用性和可维护性。元数据管理可以通过元数据管理工具来实现，如数据字典、数据目录等。

（五）表结构设计原则

单一职责原则：每个表应该只负责存储一类数据或一组相关的特征，避免表中包含过多不相关的信息。

扩展性原则：表结构应该具有良好的扩展性，能够方便地添加新的字段和特征，以适应业务需求和模型目标的变化。

一致性原则：表中的字段命名、数据类型、约束条件等应该保持一致，避免出现歧义。

性能优化原则：在设计表结构时，需要考虑数据的存储和查询性能，如合理设置索引、分区等。

三、实践案例：设计一个通用的时序数据特征表（支持设备传感器数据）

（一）业务场景

假设我们需要设计一个用于设备健康监测和故障预测的 AI 模型，需要收集设备的传感器数据，如温度、压力、振动等，这些数据是按时间序列采集的，具有时序性和多维度的特点。

（二）数据来源

设备传感器数据可以通过物联网设备实时采集，也可以从历史数据库中获取。数据格式可能包括 JSON、CSV、二进制等，需要进行统一的标准化处理。

（三）表结构设计

我们设计一个通用的时序数据特征表 device_sensor_features，表结构如下：

（四）特征工程

滚动统计特征：计算最近 N 个时间点的滚动平均值、滚动标准差等，以反映数据的短期趋势和波动情况。这里以 10 个时间点为例，实际应用中可以根据需求调整 N 的值。

差值特征：计算当前时间点与前一个时间点的差值，以反映数据的变化速率。

季节性特征：如果数据具有季节性规律，如按天、按周、按月等周期性变化，可以通过傅里叶变换、季节分解等方法提取季节性趋势特征。

异常检测特征：使用异常检测算法（如孤立森林、DBSCAN 等）计算每个时间点的异常检测得分，以标识数据中的异常点。

（五）实验案例代码

以下是使用 Python 实现的一个简单示例，演示如何从原始传感器数据中提取特征并构建时序数据特征表：

import pandas as pd
import numpy as np
from sklearn.preprocessing import MinMaxScaler
from statsmodels.tsa.seasonal import seasonal_decompose
# 模拟原始传感器数据
data = {
    'device_id': ['device_001'] * 100 + ['device_002'] * 100,
    'timestamp': pd.date_range(start='2025-01-01 00:00:00', periods=200, freq='10min'),
    'sensor_type': ['temperature'] * 200,
    'sensor_value': np.random.normal(loc=25, scale=5, size=200)
}
df = pd.DataFrame(data)
# 按设备和传感器类型分组
grouped = df.groupby(['device_id', 'sensor_type'])
# 定义特征提取函数
def extract_features(group):
    group = group.sort_values('timestamp')
    # 滚动平均值
    group['rolling_mean_10'] = group['sensor_value'].rolling(window=10, min_periods=1).mean()
    # 滚动标准差
    group['rolling_std_10'] = group['sensor_value'].rolling(window=10, min_periods=1).std()
    # 与前一个时间点的差值
    group['delta_from_previous'] = group['sensor_value'].diff()
    # 季节性分解（假设存在月度季节性，这里简化处理）
    try:
        decomposition = seasonal_decompose(group['sensor_value'], model='additive', period=144)  # 144 个时间点为一天（10min 间隔，144*10=1440min=24小时）
        group['seasonal_trend'] = decomposition.seasonal
    except:
        group['seasonal_trend'] = 0
    # 异常检测得分（这里使用简单的 Z-score 方法）
    z_scores = (group['sensor_value'] - group['sensor_value'].mean()) / group['sensor_value'].std()
    group['anomaly_score'] = np.abs(z_scores)
    return group
# 应用特征提取函数
feature_df = grouped.apply(extract_features).reset_index(drop=True)
# 数据标准化
scaler = MinMaxScaler()
feature_cols = ['sensor_value', 'rolling_mean_10', 'rolling_std_10', 'delta_from_previous', 'seasonal_trend', 'anomaly_score']
feature_df[feature_cols] = scaler.fit_transform(feature_df[feature_cols])
# 查看结果
print(feature_df.head())

（六）结果分析

通过上述代码，我们从原始传感器数据中提取了多种特征，并构建了时序数据特征表。这些特征可以直接用于后续的 AI 模型训练，如机器学习模型（随机森林、梯度提升树等）或深度学习模型（循环神经网络、长短期记忆网络等）。在实际应用中，还可以根据具体的业务需求和模型目标，进一步优化特征工程方法和表结构设计。

四、总结

在 AI 时代，数据库设计需要从传统的 ER 图思维向特征工程思维转变，更加注重数据对 AI 模型训练和应用的支持。维度建模和特征建模各有其适用场景，我们需要根据具体的业务需求和模型目标选择合适的设计方法。在设计可复用的 AI 训练数据集表结构时，需要明确业务需求和模型目标，进行数据标准化和清洗，实现特征原子化和组合，加强元数据管理，并遵循表结构设计原则。通过实践案例的介绍，我们展示了如何设计一个通用的时序数据特征表，并提供了相应的实验案例代码，希望能够为读者在实际工作中提供参考和借鉴。随着 AI 技术的不断发展，数据库设计也将不断演进，我们需要持续关注最新的技术和方法，以更好地应对数据驱动时代的挑战。