时频预测这个方向做了几年的人都会有一个共同的体感低频趋势好抓中高频细节要命。不管是做电力负荷预测、网络流量建模、还是工业设备的振动信号分析模型在低频段往往拟合得漂漂亮亮一到中高频就开始糊——预测曲线看起来平滑但把真实信号叠上去一看峰值位置偏了、振荡周期对不上、突变点被抹平。FreqCycle 这个框架就是冲着这个痛点来的它的核心主张很明确显式地把中高频成分补齐而不是指望模型自己在多尺度里悟出来。这篇文章我会把 FreqCycle 的设计动机、多尺度时频分解的底层逻辑、中高频显式补齐的具体做法、以及实际落地时会踩的坑一条条拆开讲。适合已经做过时序预测、对频域方法有基本认知、但被中高频精度卡住的同学。如果你还在纠结 LSTM 和 Transformer 选哪个这篇可能稍微超前一点但里面的分解思路对任何时序任务都有参考价值。1. 为什么低频好预测、中高频总翻车1.1 从信号能量分布说起先建立一个基本认知绝大多数真实时序信号能量集中在低频。电力负荷的日周期、周周期网络流量的潮汐效应设备振动的基频这些都是低频或准低频成分它们占据了信号总能量的绝大部分。MSE、MAE 这类损失函数对高能量成分天然敏感所以模型训练时会优先把低频拟合好因为这样 loss 降得最快。问题在于中高频成分虽然能量占比小但往往承载着关键信息。电力负荷的短时尖峰可能对应大功率设备启动网络流量的突发可能意味着异常访问设备振动的高频谐波可能预示着轴承早期磨损。这些信息一旦被抹平预测结果在业务层面就失去了价值——你预测的曲线很好看但没有任何决策意义。1.2 多尺度方法为什么没解决这个问题多尺度时频预测不是新概念。小波分解、经验模态分解EMD、变分模态分解VMD这些方法本质上都是把信号拆成不同频率段的子序列然后分别建模。思路是对的但实际落地时有两个致命问题。第一个问题是分解后的子序列各自独立建模缺乏跨尺度交互。低频子序列和中高频子序列被当成完全独立的预测任务模型之间没有信息流动。但真实信号里低频趋势的变化往往会影响中高频的振幅和相位——比如负荷整体抬升时尖峰的绝对幅度也会变大。独立建模丢掉了这种耦合关系。第二个问题是中高频子序列的信噪比低模型容易学成均值预测器。中高频成分本身波动剧烈加上噪声干扰模型很难从中提取稳定模式最后往往输出一条接近均值的平坦曲线。这本质上是一种保守策略——预测均值虽然不准但至少不会错得离谱loss 上看起来还能接受。FreqCycle 的切入点就在这里既然模型自己学不好中高频那就显式地构造中高频的预测目标并用专门的机制去补齐它。1.3 显式补齐到底显式在哪这个词需要拆开理解。补齐指的是中高频成分的预测不是从零开始学而是基于某种先验或约束来补全。显式指的是这个补齐过程是框架中一个独立的、可解释的模块而不是隐式地藏在某个黑盒网络的参数里。具体来说FreqCycle 的做法是先把信号做多尺度时频分解得到不同频率带的子序列然后对低频部分用常规时序模型预测对中高频部分不是直接预测原始值而是预测相对于低频趋势的残差并且这个残差预测会引入频域约束——比如预测出的中高频成分其频谱包络要符合历史信号的统计规律。这样一来中高频预测就有了明确的优化目标不再是学成什么样算什么样。2. FreqCycle 的多尺度时频分解怎么做的2.1 分解方法的选择为什么不是简单的小波小波分解是最直观的多尺度工具但 FreqCycle 没有直接用小波。原因在于小波基函数是固定的对不同类型的信号需要手动选择合适的小波族和分解层数泛化性差。而且小波分解后的子序列长度会减半做长程预测时边界处理很麻烦。FreqCycle 采用的是一种可学习的时频分解思路。具体实现上它用一组不同带宽的带通滤波器对信号做滤波滤波器的中心频率和带宽是可训练参数。这样做的灵活性在于滤波器组可以自适应地匹配信号的频率分布而不是被固定基函数限制。提示如果你要复现这个思路滤波器组的初始化很关键。建议先用 FFT 分析训练集信号的频谱把滤波器中心频率初始化在频谱峰值附近带宽覆盖主要能量区间。随机初始化会导致训练初期滤波器组退化所有滤波器挤到低频段。2.2 分解层数与频率带的划分分解层数不是越多越好。层数太多每个频带的信号太短模型学不到东西层数太少中高频和高频混在一起还是解决不了问题。FreqCycle 的经验值是4 到 6 层具体取决于信号的采样率和主要频率成分。以一个采样间隔为 15 分钟的电力负荷信号为例日周期对应频率约 0.0000116 Hz这是最低频。如果分解 5 层频率带大致可以划分为层数频率范围主要成分预测策略第 1 层0 ~ 0.00005 Hz周周期、趋势常规时序模型第 2 层0.00005 ~ 0.0002 Hz日周期常规时序模型第 3 层0.0002 ~ 0.001 Hz日内波动残差预测 频域约束第 4 层0.001 ~ 0.005 Hz短时尖峰残差预测 频域约束第 5 层0.005 Hz 以上噪声、突变稀疏建模或阈值处理这个划分不是死的核心原则是低频层用常规模型中高频层用残差 约束最高频层做稀疏化处理。最高频层往往以噪声为主强行预测反而会引入误差不如用阈值方法把显著突变挑出来单独处理。2.3 分解后的子序列怎么对齐多尺度分解有一个容易被忽略的细节不同频率带的子序列其有效预测长度是不一样的。低频成分变化慢可以预测很长一段中高频成分变化快预测步长稍长就失去意义。FreqCycle 的处理方式是分层设置预测步长。低频层预测完整的目标长度中高频层只预测前若干个时间步后面的步长用频域约束外推。这个设计很符合直觉你不会指望预测 24 小时后的分钟级尖峰但你可以预测 24 小时后的整体趋势。3. 中高频补齐的核心机制拆解3.1 残差预测让模型学偏差而不是绝对值这是 FreqCycle 最核心的设计。传统做法是让模型直接预测中高频子序列的值但中高频子序列的绝对值波动大、信噪比低模型很难学。FreqCycle 改成让模型预测中高频子序列相对于低频趋势的残差。举个例子假设低频层预测出某时刻的负荷趋势是 100 MW实际负荷是 108 MW那么残差就是 8 MW。模型要学的是这个 8而不是 108。残差的数值范围小得多分布也更集中模型学起来容易得多。更重要的是残差预测天然引入了低频信息。因为残差是相对于低频趋势定义的模型在预测残差时隐式地知道了当前的趋势状态。这解决了前面提到的跨尺度交互缺失问题——低频信息通过残差定义的方式流入了中高频预测。3.2 频域约束给中高频预测套上缰绳光有残差预测还不够。残差预测解决了学什么的问题但没有解决学成什么样的问题。模型可能学出一个残差序列在时域上看起来还行但频谱特性完全不对——比如把高频成分预测成了低频振荡。FreqCycle 引入频域约束来解决这个问题。具体做法是在损失函数中加入一项惩罚预测残差的频谱与历史残差频谱的差异。这个约束可以用多种方式实现比较简单的是比较两者的功率谱密度PSDimport torch import torch.fft def spectral_constraint_loss(pred_residual, hist_residual): pred_residual: 预测的残差序列, shape [batch, seq_len] hist_residual: 历史残差序列, shape [batch, hist_len] # 计算预测残差的功率谱 pred_fft torch.fft.rfft(pred_residual, dim-1) pred_psd torch.abs(pred_fft) ** 2 # 计算历史残差的平均功率谱 hist_fft torch.fft.rfft(hist_residual, dim-1) hist_psd torch.abs(hist_fft) ** 2 hist_psd_mean hist_psd.mean(dim0, keepdimTrue) # 对齐长度取较短的 min_len min(pred_psd.shape[-1], hist_psd_mean.shape[-1]) pred_psd pred_psd[..., :min_len] hist_psd_mean hist_psd_mean[..., :min_len] # 归一化后计算差异 pred_psd_norm pred_psd / (pred_psd.sum(dim-1, keepdimTrue) 1e-8) hist_psd_norm hist_psd_mean / (hist_psd_mean.sum(dim-1, keepdimTrue) 1e-8) loss torch.mean(torch.abs(pred_psd_norm - hist_psd_norm)) return loss这个约束的作用是缰绳——它不直接规定预测值是多少但规定了预测值的频谱形状要合理。模型仍然有自由度去拟合具体的时域波形但不会跑偏到完全错误的频率范围。注意频域约束的权重需要调。权重太大模型会过度关注频谱匹配时域精度下降权重太小约束不起作用。建议从 0.1 开始试观察验证集上时域 loss 和频域 loss 的平衡。3.3 跨尺度注意力让低频告诉中高频该往哪走残差预测和频域约束解决了大部分问题但还有一个场景没覆盖低频趋势发生突变时中高频的振幅和相位也会跟着变。比如电力负荷突然整体抬升尖峰的绝对幅度也会变大。如果模型不知道低频趋势变了残差预测就会偏。FreqCycle 用跨尺度注意力机制来处理这个场景。具体来说在预测中高频残差时模型会 attend 到低频层的隐藏状态。这样低频趋势的变化信息就能传递到中高频预测中。实现上这可以是一个简单的 cross-attention 层class CrossScaleAttention(torch.nn.Module): def __init__(self, low_dim, high_dim, num_heads4): super().__init__() self.attn torch.nn.MultiheadAttention( embed_dimhigh_dim, num_headsnum_heads, kdimlow_dim, vdimlow_dim, batch_firstTrue ) self.norm torch.nn.LayerNorm(high_dim) def forward(self, high_feat, low_feat): # high_feat: 中高频层的特征 [batch, seq_len, high_dim] # low_feat: 低频层的特征 [batch, low_seq_len, low_dim] attn_out, _ self.attn(high_feat, low_feat, low_feat) return self.norm(high_feat attn_out)这个模块的直觉是中高频预测在生成每个时间步的残差时会查询低频层的状态看看当前趋势是什么样然后决定残差该大还是该小。4. 训练策略与损失函数设计4.1 多任务损失时域 频域 跨尺度一致性FreqCycle 的损失函数不是单一的 MSE而是多项损失的加权和。主要包括三部分时域预测损失预测值与真实值的 MSE 或 MAE这是基础。频域约束损失前面提到的 PSD 差异保证频谱形状合理。跨尺度一致性损失低频预测 中高频残差预测 完整预测这个等式要在损失中体现防止各层预测结果互相矛盾。三项损失的权重需要根据任务调整。我的经验是时域损失权重设为 1.0频域约束 0.1 到 0.3跨尺度一致性 0.05 到 0.1。频域约束权重不宜过大否则时域精度会明显下降。4.2 分阶段训练先低频后中高频直接端到端训练整个框架很容易出现低频还没学好、中高频就开始瞎拟合的情况。FreqCycle 采用分阶段训练策略第一阶段只训练低频预测模块冻结中高频部分。这个阶段的目标是让低频预测达到一个合理的精度为后续残差预测提供稳定的基准。第二阶段解冻中高频模块但低频模块的学习率调低。这个阶段中高频模块在低频预测的基础上学习残差频域约束和跨尺度注意力开始起作用。第三阶段全部解冻用较小的学习率做微调。这个阶段主要是让各模块之间的配合更协调。提示分阶段训练虽然麻烦但收敛稳定性比端到端训练好很多。如果时间紧至少要做前两个阶段直接端到端训练大概率会失败。4.3 验证集上的评估指标不能只看 MSE这是很多人会踩的坑。MSE 对低频成分敏感中高频预测的好坏在 MSE 上体现不明显。你可能 MSE 降了但中高频预测反而更差了。建议在验证集上同时看这几个指标指标作用关注点MSE / MAE整体精度低频拟合情况频谱差异PSD 距离频域匹配中高频频谱形状峰值捕捉率突变预测尖峰位置和幅度高频段单独 MSE中高频精度分解后高频层的误差特别是峰值捕捉率这个指标在电力、流量等场景非常关键。定义可以是真实信号中超过阈值的峰值有多少被预测出来了且位置误差在允许范围内。5. 实际落地时的坑与应对5.1 分解层数选错中高频被淹没这是最常见的坑。分解层数太少中高频和高频混在一起模型还是学不好分解层数太多中高频层的信号太短模型学不到模式。判断方法分解后画出各层子序列的频谱。如果某一层的频谱明显覆盖了两个不同的频率峰说明这一层混了需要增加分解层数。如果某一层的信号几乎全是噪声频谱平坦说明这一层可以去掉或做阈值处理。我的经验是分解层数让最底层的中高频子序列长度至少保留 50 到 100 个时间步。再短就没有足够的模式可学了。5.2 频域约束权重过大时域波形失真频域约束是个好东西但权重调大了会出问题。模型为了匹配频谱可能会生成时域上看起来很奇怪但频谱正确的波形。比如把几个尖峰合并成一个宽峰频谱上差不多但时域上完全不对。应对方法是动态调整权重。训练初期频域约束权重小一点让模型先学好时域训练后期逐渐增大频域约束微调频谱。或者用自适应权重根据时域 loss 和频域 loss 的比值来调整。5.3 跨尺度注意力学不到东西跨尺度注意力模块有时候会摆烂——注意力权重均匀分布等于没有 attention。这通常是因为低频特征和中高频特征的表征空间差异太大attention 找不到有意义的对应关系。解决办法是在 attention 之前加一个投影层把低频特征和中高频特征投影到同一个维度空间。另外可以给 attention 加一个温度系数让权重分布更尖锐class SharpenedCrossAttention(torch.nn.Module): def __init__(self, low_dim, high_dim, num_heads4, temperature0.5): super().__init__() self.temperature temperature self.proj_low torch.nn.Linear(low_dim, high_dim) self.attn torch.nn.MultiheadAttention( embed_dimhigh_dim, num_headsnum_heads, batch_firstTrue ) self.norm torch.nn.LayerNorm(high_dim) def forward(self, high_feat, low_feat): low_feat_proj self.proj_low(low_feat) # 温度系数通过缩放 query 实现 q high_feat / self.temperature attn_out, _ self.attn(q, low_feat_proj, low_feat_proj) return self.norm(high_feat attn_out)温度系数小于 1 会让 attention 权重更集中模型被迫选择最相关的低频状态而不是平均所有状态。5.4 边界效应分解后的序列两端失真任何时频分解方法都有边界效应——信号两端分解出来的子序列不准确。做预测时如果目标序列靠近边界预测精度会明显下降。FreqCycle 的处理方式是在分解前对信号做镜像延拓把信号两端各延拓一段比如信号长度的 10%分解后再把延拓部分去掉。这样可以有效缓解边界效应。另一个方法是使用边界修正的分解算法但实现复杂度高镜像延拓是性价比最高的方案。6. 这套框架适合什么场景、不适合什么场景6.1 适合的场景FreqCycle 最适合的场景有几个共同特征信号有明显的多尺度结构、中高频成分承载关键信息、预测精度要求高。电力负荷预测是典型场景。日周期、周周期是低频日内波动和短时尖峰是中高频后者对调度决策至关重要。网络流量预测也类似潮汐效应是低频突发流量是中高频异常检测依赖中高频的准确预测。工业设备振动信号分析同样适用基频和低次谐波是低频高次谐波和冲击成分是中高频后者往往对应故障特征。6.2 不适合的场景如果信号本身中高频成分就是噪声没有可预测的模式FreqCycle 的优势发挥不出来。这种情况下强行预测中高频反而会引入误差不如直接用低频预测加置信区间。另一个不适合的场景是极短序列预测。FreqCycle 的多尺度分解需要一定长度的序列才能有效如果历史数据只有几十个点分解后的子序列太短模型学不到东西。这种情况下简单的时序模型可能更实用。6.3 计算成本与工程落地的权衡FreqCycle 的计算成本比单模型高不少。多尺度分解、多个子模型、跨尺度注意力这些都是额外的计算开销。训练时间可能是单模型的 2 到 3 倍推理时间也会增加。工程落地时需要权衡精度提升和计算成本。如果业务对精度要求极高且计算资源充足FreqCycle 值得上。如果只是做粗略预测或者推理延迟要求很严可能需要简化框架——比如只做两层分解去掉跨尺度注意力只保留残差预测和频域约束。我在实际项目中的做法是先用完整框架跑一版看精度提升幅度。如果提升明显比如峰值捕捉率提升 20% 以上再考虑工程优化如果提升有限说明这个场景的中高频成分可能本身就不太可预测不值得投入这么多计算资源。7. 几个实操中的经验细节7.1 数据预处理对中高频预测的影响被低估了很多人把精力花在模型结构上忽略了预处理。但中高频成分对预处理非常敏感。异常值处理不当会在中高频层引入虚假的尖峰归一化方法选择不当会压缩中高频的动态范围。我的建议是对中高频层的子序列单独做归一化不要和低频层共用一套归一化参数。低频层的均值和方差和中高频层差异很大共用参数会导致中高频层的数值被压缩到很小的范围模型学起来困难。7.2 频域约束的实现细节前面给的 PSD 约束代码是简化版。实际使用时有几个细节要注意。第一PSD 的计算要对数化因为功率谱的动态范围很大直接比较线性值会被低频段主导。第二要对 PSD 做平滑单个样本的 PSD 波动很大用滑动平均或高斯平滑后再比较更稳定。第三可以考虑用梅尔刻度或对数刻度来重新采样频率轴让中高频段的差异在损失中占更大权重。7.3 模型集成的小技巧FreqCycle 本身已经是一个多尺度框架但还可以进一步做集成。具体做法是用不同的随机种子训练多个 FreqCycle 实例推理时取平均。由于中高频预测的不确定性较大集成能有效降低方差提升峰值捕捉的稳定性。不过集成会成倍增加推理成本。如果推理延迟敏感可以考虑只对中高频层的预测做集成低频层用单个模型。因为低频预测本身比较稳定集成的收益不大。7.4 监控中高频预测的在线表现上线之后不能只看整体 MSE。建议单独监控中高频层的预测误差以及峰值捕捉率。如果发现中高频误差持续增大可能是信号的中高频模式发生了变化比如设备老化、负荷结构改变需要重新训练或调整分解参数。这个监控机制在工业场景特别重要。设备振动信号的中高频特征会随着磨损程度变化模型需要定期更新才能保持精度。8. 写在最后的一点个人体会FreqCycle 这个框架最让我认可的地方是它把中高频预测从一个隐式的、靠模型自己悟的问题变成了一个显式的、有明确优化目标的问题。残差预测、频域约束、跨尺度注意力这三个机制各自解决了一个具体问题组合起来形成了一个完整的解决方案。但我也要说这个框架不是银弹。它的计算成本、调参复杂度、对数据长度的要求都决定了它不适合所有场景。如果你的信号中高频成分本身就是噪声或者你的预测精度要求没那么高简单的模型可能更划算。我在实际项目里最大的体会是先把信号的频谱分析做透再决定要不要上 FreqCycle。很多时候问题不在于模型不够复杂而在于对信号的频率结构理解不够。你把频谱画出来看看中高频到底有没有可预测的模式再决定投入多少精力。这个分析过程本身往往比模型选择更有价值。