简介基于 TensorFlow 框架实现的 CNN-BiLSTM-Attention 组合时序预测模型面向需要进行时间序列建模的研究人员、数据挖掘学习者及工业应用开发者。模型融合卷积神经网络的特征提取能力、双向长短期记忆网络的时序依赖建模能力与注意力机制的关键信息聚焦能力可支持单输入单步、单输入多步、多输入单步、多输入多步四种预测模式适用于风电功率预测、电力负荷预测、股票分析、设备故障预测等场景。压缩包内共8个文件包含完整Python源码、使用说明文档PDF及Markdown、训练与测试数据集Excel及CSV、依赖库清单等包体约4.93MB结构紧凑下载后可直接替换数据运行。代码附带清晰中文注释并内置MSE、RMSE、R2、MAE、MAPE五项评估指标便于从多角度衡量预测效果。该资源已有93人学习适合希望快速构建并验证组合深度学习时序预测模型的入门及进阶用户。1. CNN-BiLSTM-Attention 时序预测单用 LSTM 不够组合模型才是落地常态做时间序列预测的人大概率都经历过这个场景单用 LSTM 跑出来的结果要么滞后严重要么在拐点处直接钝掉。这不是你参数没调好而是单一循环结构对长序列的局部特征提取能力天生偏弱。用 TensorFlow 把 CNN 和 BiLSTM 串起来再在输出端加一层 Attention 做时序加权效果往往比单模型高一截尤其在风电功率、负荷、流量这类多变量长序列场景里。这个组合思路不玄乎就是让 CNN 抓局部模式、BiLSTM 扫双向时序依赖、Attention 决定哪些时间步该重点看。这篇笔记把数据预处理、模型搭建、训练参数和踩过的坑一次说清适合已经会跑 LSTM 但想进一步提点的从业者也适合准备拿组合模型做毕设或竞赛的入门者。2. 模型结构拆解为什么是 CNN 在前、BiLSTM 居中、Attention 收尾2.1 CNN 层用卷积核做局部特征提取和降噪时序预测里用 CNN通常是一维卷积 Conv1D。卷积核在时间轴上滑动每个位置和周围若干时间步做加权求和。这个操作本质上是在做局部模板匹配对于风电功率的阵风尖峰、流量的突发脉冲这类短时模式卷积核能直接把它们框出来不需要像纯 LSTM 那样靠遗忘门慢慢学。CNN 层在这里有两个实际作用。第一个是降噪卷积操作的感受野有限高频毛刺会被卷积核平滑掉一部分相当于内置了一个可学习的低通滤波器。第二个是降维MaxPooling 或 AveragePooling 把时间步压缩后续 BiLSTM 需要处理的序列长度大幅缩短训练速度和显存占用都会改善。我一般会把 Conv1D 的卷积核尺寸 kernel_size 设在 3 到 7 之间。3 表示只看前后各一个点适合高频波动数据7 表示看前后三个点适合小时级或天级数据。注意卷积不会改变时间步数量真正把序列压短的是后面的池化层所以不要指望靠 Conv1D 本身减序列长度。from tensorflow.keras.layers import Conv1D, MaxPooling1D # 输入形状: (batch_size, window_size, n_features) cnn_out Conv1D(filters64, kernel_size3, paddingsame, activationrelu)(inputs) cnn_out MaxPooling1D(pool_size2)(cnn_out)这里 filters64 表示学习 64 个不同的局部模式模板paddingsame 保证卷积后时间步数量不变池化后再减半。如果你用的是流速、功率这类波动数据pool_size2 通常够用池化太大容易把短时特征也抹掉。2.2 BiLSTM 层双向扫描序列依赖关系LSTM 的问题在于它只能按时间正序读每个时间步只能看到过去看不到未来。预测任务里当前时刻的状态往往同时受前后文影响比如负荷数据在工作日早上呈现「前一天同时段 当天趋势」的叠加如果只看正向扫描模型很难把这种双向模式同时编码进去。BiLSTM 拆成两个方向的 LSTM 并行跑正向那个读原始序列反向那个把序列倒过来读两个方向的隐状态在每步拼接。关键点在于BiLSTM 输出的是每个时间步的隐状态序列而不是最后一个时间步的状态所以 return_sequences 必须设为 True否则 Attention 无法逐时间步加权。from tensorflow.keras.layers import Bidirectional, LSTM # 输入形状: (batch_size, reduced_window_size, filters * 2) bilstm_out Bidirectional( LSTM(units64, return_sequencesTrue, dropout0.2) )(cnn_out)units64 表示每个方向保留 64 维隐状态拼接后是 128 维。dropout0.2 是循环层内部概率丢弃只对输入步生效不会破坏跨步的状态传递。在实际项目中这个 dropouot 参数能显著缓解过拟合尤其是训练样本只有几千条的时候不要设成 0。2.3 Attention 层给关键时间步分配权重Attention 解决的问题是长序列的「记忆稀释」。BiLSTM 输出的是整条隐状态序列但预测目标往往只由其中少数几个时间步主导。传统做法是取最后一步或全局平均池化这两个操作都会把关键步的贡献冲淡。我在工程上更倾向于用自定义的加性注意力而不是直接调 Keras 的 Attention 层原因是 Keras 内置 Attention 要求 query 和 value 两组输入在 Sequential API 里不好接很多人在这个位置卡住报错。常见做法是先把 BiLSTM 的隐状态过一层 Dense 算出每个时间步的分数再对所有分数做 softmax得到权重后加权求和输出一个上下文向量。import tensorflow as tf from tensorflow.keras.layers import Dense # bilstm_out shape: (batch_size, reduced_window_size, 128) score Dense(1, activationtanh)(bilstm_out) # 每步一个分数 weights tf.nn.softmax(score, axis1) # 按时间步归一化 context tf.reduce_sum(weights * bilstm_out, axis1) # 加权求和Dense(1) 把每个时间步的 128 维隐状态压成一个标量分数softmax 沿时间轴归一化保证权重之和为 1最后加权求和得到上下文向量。这个向量本质上是对整条序列做了「重点摘要」比 GlobalAveragePooling 多了一个可学习的筛选过程。2.4 三层结构的形状流转表写代码最容易出错的不是模型设计而是张量形状在每一层之间的衔接。我把典型参数下的形状变化列出来方便你对照检查。层输出形状说明输入层(None, 24, 5)window_size24特征数5Conv1D(filters64, kernel_size3)(None, 24, 64)paddingsame时间步不变MaxPooling1D(pool_size2)(None, 12, 64)时间步减半Bidirectional(LSTM(64, return_sequencesTrue))(None, 12, 128)正向 64 反向 64Attention自定义(None, 128)加权求和后只剩特征维Dense(1)(None, 1)输出单步预测值None 是 batch 维度自动适配。很多报错都出在 MaxPooling 后时间步变成奇数导致后续计算异常这一点上window_size 尽量选偶数或者用 padding 保证池化时序列能被整除。3. 数据预处理与样本构建滑窗、归一化和时间划分3.1 滑窗机制把原始序列切成监督学习样本时序预测不能直接把整条序列丢给模型需要把数据切成输入窗口和目标窗口的配对。滑窗的核心参数是 window_size 和 pred_len前者决定模型看多长的历史后者决定预测未来几步。滑窗过程其实就是在序列上平移一个固定长度的窗口窗口每平移一步生成一个样本。步长 stride 默认是 1如果你觉得样本之间相关性太高可以把 stride 设大一点比如 2 或 3但这样会减少训练样本量在小数据集上反而容易过拟合我一般只在数据量超过 5 万条时才考虑加大步长。import numpy as np def create_sequences(data, window_size24, pred_len1): X, y [], [] for i in range(len(data) - window_size - pred_len 1): X.append(data[i:i window_size]) y.append(data[i window_size:i window_size pred_len]) return np.array(X), np.array(y) # data shape: (samples, n_features) # X shape: (samples, window_size, n_features) # y shape: (samples, pred_len)代码里循环的终止条件是 len(data) - window_size - pred_len 1这个边界不要改错否则会数组越界或漏掉尾部样本。pred_len 大于 1 时 y 是一个多步序列模型输出层的神经元数量需要和后端 Dense 层对应不然 shape 对不上。具体做法是pred_len1 时做的是单步预测这类任务最简单但现实业务里真正有用的是未来 3 到 24 步的预测。做多步预测有两个方向一个是把 pred_len 加大直接一次输出多步另一个是保持单步模型反复滚动预测。前者训练简单但误差会累加后者更稳但要小心输入窗口的更新方式。3.2 归一化为什么必须用 MinMaxScaler时序数据的不同特征量纲差异往往很大风速是 0 到 20 的数值功率是 0 到 2000 的数值如果直接喂给模型数值大的特征会主导梯度更新CNN 卷积核和 LSTM 门控的权重都会被带偏。MinMaxScaler 是时序预测里最常用的归一化方法把所有特征压缩到 0 到 1 区间。相比 StandardScaler标准化为零均值单位方差MinMax 保留了原始数据的分布形状反归一化时也更直观预测值直接乘回去加回去就还原了。from sklearn.preprocessing import MinMaxScaler scaler MinMaxScaler(feature_range(0, 1)) # 只对训练集 fit验证集和测试集用同一套参数 transform train_scaled scaler.fit_transform(train_raw.reshape(-1, 1)) test_scaled scaler.transform(test_raw.reshape(-1, 1))这里有一个必须强调的纪律scaler 只能 fit 在训练集上。如果把全量数据拿去 fit测试集的信息就提前泄漏到了训练阶段验证时指标会虚高部署到线上立刻现原形。fit_transform 和 transform 的区别就在这一步前者先求最大最小值再变换后者只做变换不重新计算。3.3 时间序列划分不能随机打乱分类任务里随机打乱数据是标准操作时序预测里绝对不行。打乱之后训练集里会出现未来时刻的数据模型在验证时能看到「过去」测试结果会乐观到离谱。标准做法是按时间顺序三分前 70% 做训练中间 15% 做验证最后 15% 做测试。如果你的数据存在明显的周期性比如日周期、周周期划分时还要注意每个子集都要覆盖完整的周期否则模型只见过周一的数据到周五就不认识了。n len(scaled_data) train_end int(n * 0.7) val_end int(n * 0.85) train_data scaled_data[:train_end] val_data scaled_data[train_end - window_size:val_end] # 多切一段窗口做回看 test_data scaled_data[val_end - window_size:]第二个细节很多人都忽略划分验证集和测试集时要从起点往前多切一个 window_size 的长度。原因是构建滑窗样本时第一个样本需要前 window_size 个历史点如果不补这一段验证集和测试集的第一批样本就构造不出来数据量白白浪费了。4. 模型构建与训练TensorFlow 函数式 API 完整实现4.1 函数式 API 搭建三层组合模型模型的搭建我推荐用函数式 API而不是 Sequential。原因在于 Attention 部分是自定义结构需要把 BiLSTM 的输出张量分叉成两路一路算权重、一路做加权求和这在 Sequential 里没法用 add 方式直接堆出来。函数式 API 的写法是先把输入层定义成张量然后一层层传下去每层接收上一层返回的张量最后用 Model 把输入输出绑定起来。这样写虽然比 Sequential 多几行但结构清晰每一层的输入输出都能随时打印 shape 检查。import tensorflow as tf from tensorflow.keras.layers import ( Input, Conv1D, MaxPooling1D, Bidirectional, LSTM, Dense, Dropout, Flatten ) from tensorflow.keras.models import Model def build_cnn_bilstm_attention(window_size, n_features, lstm_units64, pred_len1): inputs Input(shape(window_size, n_features)) # 第一段: CNN 局部特征提取 x Conv1D(filters64, kernel_size3, paddingsame, activationrelu)(inputs) x MaxPooling1D(pool_size2)(x) x Dropout(0.2)(x) # 第二段: BiLSTM 双向时序依赖 x Bidirectional(LSTM(lstm_units, return_sequencesTrue, dropout0.2))(x) # 第三段: 自定义 Attention 加权 score Dense(1, activationtanh)(x) weights tf.nn.softmax(score, axis1) x tf.reduce_sum(weights * x, axis1) # 输出层 outputs Dense(pred_len)(x) model Model(inputs, outputs) return model model build_cnn_bilstm_attention(window_size24, n_features5, lstm_units64, pred_len1) model.summary()这段代码里需要注意几个参数lstm_units64 控制 BiLSTM 的容量调大能提高拟合能力但也会明显变慢pred_len1 时输出层是一个神经元pred_len24 时输出层是 24 个神经元对应未来 24 步的预测值。Dropout 在 CNN 和 BiLSTM 之间各加了一层防止参数过多导致过拟合。4.2 编译设置优化器、学习率与损失函数时序回归任务默认用 Adam 优化器这一点基本没有争议。Adam 对学习率的自适应调整能力很强起步阶段不容易发散但对学习率初始值仍然敏感。model.compile( optimizertf.keras.optimizers.Adam(learning_rate1e-3), lossmse, metrics[mae] )learning_rate1e-3 适合大多数场景但有两个例外如果训练时 loss 震荡严重降到 1e-4 或 1e-5 会稳定很多如果数据量很小几百条1e-4 起步更稳妥。损失函数用 mse 而不是 mae原因是 mse 对大误差的惩罚更强模型会更重视那些偏离较大的预测点这对风电功率这类波动大的数据尤其重要。metrics 里的 mae 只是给人看的方便在训练日志里直观评估。4.3 早停与学习率衰减防止训练后期震荡时序模型的训练曲线往往不是单调下降的。前几十个 epoch 快速下降之后进入平台期偶尔还会反弹。如果不设早停训练到某个临界点后模型开始在验证集上变差。EarlyStopping 的核心逻辑是盯住验证集 loss连续 patience 个 epoch 没有刷新最优值就停止训练。ReduceLROnPlateau 则是等 loss 平了之后把学习率降一半让优化器在更小的步长下继续精调权重。这两个回调搭配使用基本不需要手动盯训练过程。from tensorflow.keras.callbacks import EarlyStopping, ReduceLROnPlateau early_stop EarlyStopping( monitorval_loss, patience15, restore_best_weightsTrue ) reduce_lr ReduceLROnPlateau( monitorval_loss, factor0.5, patience5, min_lr1e-6 ) history model.fit( X_train, y_train, validation_data(X_val, y_val), epochs100, batch_size32, callbacks[early_stop, reduce_lr], verbose1 )patience 的设置在 10 到 20 之间合理太小会在 loss 短暂平台期就停下太大则训练时间失控我一般配合 epochs100 取 15。restore_best_weightsTrue 这个参数很重要如果不设停到的是最后一步的权重而不是验证集最优那一步的权重预测效果会差不少。batch_size32 是常规值数据量大时可以加到 64 或 128注意显存占用会随 batch 大小线性增加。4.4 预测与反归一化还原到真实数值训练完成后的预测流程和训练时有三个关键差异。第一predict 阶段模型不需要 y 标签只需要输入窗口。第二预测结果是在归一化空间里的必须用之前保存的 scaler 做 inverse_transform 才能得到真实量纲的数值。第三如果做了多步滚动预测每一步需要用前一步的预测值拼接出新的输入窗口这一步最容易出错。# 单步预测: 直接用最后一段窗口 last_window X_test[-1] # shape: (24, 5) last_window last_window.reshape(1, 24, 5) pred_scaled model.predict(last_window) # 反归一化: 还原到真实数值 pred_real scaler.inverse_transform(pred_scaled.reshape(-1, 1))这里要特别注意 reshape 的维度。模型训练时输入的 shape 是 (样本数, window_size, 特征数)预测时的输入也必须保持三维即使只有一个样本也要变成 (1, 24, 5)。反归一化时pred_scaled 是二维 (1, 1)需要 reshape 成 (1, 1) 才能传给 scaler三维的 shape 直接传会报维度错误。实际业务里更常用的多步滚动预测写法是先取最后的窗口每次预测一个点然后把预测值拼到窗口末尾、丢掉窗口第一个点这样窗口始终保持 window_size 长度循环执行 pred_len 次就能得到未来多步的预测序列。5. 避坑指南时序预测组合模型的五个高发雷区5.1 归一化泄漏导致验证虚高现象训练集和验证集的表现都很好RMSE 低得惊人但模型部署到线上后预测值严重偏离真实范围。原因写代码时图省事把全部数据拼在一起调用了 scaler.fit_transform验证集和测试集的统计信息提前进入了全局的最大最小值。模型在训练时已经间接见过验证集的数据分布范围测试自然准。解决严格分割数据后只对训练集执行 fit验证集和测试集统一用同一个 scaler 执行 transform。用 sklearn 管道 Pipeline 把数据预处理和模型封装在一起可以强制避免这个问题我后续做项目都强制走这一步。5.2 随机切分训练集导致时间泄漏现象验证集 loss 很低但训练曲线严重震荡测试集上预测曲线整体右移看起来像模型的预测比真实值滞后了几个时间步。原因使用了 train_test_split 默认的随机切分未来数据混进了训练集。模型学到的是「答案就在附近」而不是真正的时序规律一旦遇到真实序列就只会复读上一步的值。解决按时间顺序手动切分用索引切片而不是随机函数。切分时注意前面提到的 window_size 回看长度否则每组数据集最前面的一段样本会因历史不足而丢失。5.3 滑动窗口边界算错导致样本数缩水现象数据集有几万条但 create_sequences 之后只剩下几百个样本训练效果奇差。原因循环终止条件写成了 len(data) - window_size忽略了 pred_len 的占位。每个样本不仅需要 window_size 个历史点还需要 pred_len 个目标点两项都要从总长度里扣除。解决终止条件要写成 len(data) - window_size - pred_len 1。写成代码后先打印 X.shape 和 y.shape 验证再正式进入训练这一步可以省掉大量排错时间。5.4 Keras Attention 层直接加进 Sequential 报错现象执行 model.add(Attention()) 时抛出异常提示 Attention 需要两个输入张量或者 shape 不匹配。原因Keras 内置的多头注意力层设计给 encoder-decoder 架构使用需要显式传入 query 和 value 两组张量而 Sequential API 只能提供单一输入流语义上不匹配。解决改用函数式 API 自定义加性注意力用 Dense 计算分数再用 softmax 归一化后加权求和。我在 2.3 节给的代码可以直接复用也可以把这段封装成一个自定义层方便复用。5.5 多步滚动预测时窗口更新错误现象多步预测曲线在前几步很准后面越来越偏最终漂移到完全不合理的数值范围。原因每一步预测完后把预测值拼进窗口的逻辑写错了。常见错误是忘记删掉窗口最前面那个旧点导致窗口长度越来越长模型输入 shape 不匹配直接报错或者删除位置不对把新预测值顶掉了。解决用 collections.deque 管理窗口maxlenwindow_sizeappend 新预测值时deque 自动弹出最旧的值窗口长度恒定。代码可以这样写from collections import deque import numpy as np window deque(X_test[-1], maxlenwindow_size) # 初始化为最后一段历史 preds [] for _ in range(pred_len): arr np.array(window).reshape(1, window_size, n_features) p model.predict(arr, verbose0)[0, 0] preds.append(p) window.append(p) # maxlen 自动丢弃最旧数据这段代码里 deque 的 maxlen 是窗口长度append 新预测值 p 时自动弹出最左侧的历史点窗口始终是最后 window_size 个值。使用这个写法后哪怕预测 24 步也不会出现 shape 错误。6. 模型效果验证与参数调优从训练曲线到残差分析模型跑通只是第一步真正决定项目能不能交付的是验证和调优的细致程度。训练结束后第一时间画两条曲线一条是训练集和验证集的 loss 变化另一条是测试集上预测值与真实值的对比。loss 曲线如果出现验证集在某个 epoch 后持续高于训练集说明模型开始过拟合早停应该在那个点截住。观察对比图时不要只看整体曲线贴不贴合要重点看拐点和极值点附近的表现这些位置往往暴露模型的问题。调参方向我习惯按敏感度排序优先动 window_size其次动 lstm_units最后才动 CNN 的 filters。window_size 决定模型看多长的历史对于日周期数据至少取一个完整周期比如 24 小时数据就取 window_size24如果数据存在 7 天周期则取 168。lstm_units 从 32 起步每翻一倍看一次验证集 loss涨到 128 后就不再往上提因为收益会递减而训练时间成倍增加。CNN filters 通常保持 32 到 64 之间太大容易把高频噪声也学进去导致验证集震荡。残差分析是很多人忽略的最后一步。预测值与真实值做差后如果残差序列在零轴附近随机波动模型已经学到了主要规律。如果残差呈现明显的周期性比如每天都固定在某个时段偏高说明模型漏掉了某个周期性特征这时需要回到特征工程检查是否需要加入时间戳、星期几、节假日这些外生变量。从那以后我每次做完时序预测都会强制走一遍这套验证流程归一化泄漏检查、时间顺序切分确认、滑窗样本量打印、残差曲线目检。这套组合模型本身不复杂真正拉开差距的就是这些细节希望帮到你。本文还有配套的精品资源点击获取