简介面向负荷监测、智能家居与能源管理研究的非侵入式负荷分解NILM工程包基于因子隐马尔可夫模型FHMM从家庭总用电数据中识别并分离各独立电器的运行状态有效解决多电器叠加状态下难以区分的难题适用于机器学习、模式识别方向的开发者与科研人员。压缩包共26个文件以Python脚本和Jupyter Notebook为主干包含主程序、数据预处理、模型训练与评估等模块辅以配置文件、样例数据等整体仅628KB结构清晰、轻量易用。已有580人学习浏览对NILM入门与进阶均具参考价值可直接用于学术研究或工程实践。包内覆盖数据预处理、特征提取、FHMM模型构建、训练调参、负荷分解及结果评估的完整流程并提供可运行的示例Notebook帮助快速理解算法原理并复现实验也为后续拓展多电器识别算法奠定坚实基础。1. 非侵入式负荷分解为什么值得从FHMM做起不给每台电器装表也能拆出各自的用电量你家里通常只有一块总电表但你想知道冰箱、空调、微波炉各用了多少电。装一圈子表不现实于是就有了非侵入式负荷分解NILM即标题里的“非倾入式”只分析总表入口的功率波形把叠加在一起的设备负荷拆回单台设备。早期做法是看功率跳变和事件匹配遇到多设备同时开关就乱套。因子隐马尔可夫模型FHMM换了个思路——把每台电器当作一条独立的隐马尔可夫链多台电器共同生成总功率观测再通过联合解码还原每台电器的状态序列。这个模型的好处是天然支持多设备、多状态而且有成熟的概率推断工具可用。适合刚接触NILM、手里只有公共数据集或自家总表数据的工程师先拿它跑通第一个可解释的基线再决定要不要往深度学习方向走。下面按“建模→数据准备→训练评估→排错→进阶”的顺序把整个落地路径拆给你。2. 因子隐马尔可夫模型建模一本账联合状态、转移矩阵与发射概率的工程化拆解2.1 从HMM到FHMM把“一台电器一个马尔可夫链”变成可计算的状态机先回顾常规HMM。一台设备被建模成一条隐马尔可夫链隐状态就是设备的运行档位比如冰箱的“待机/制冷”空调的“待机/低风/高风”。每条链有一个状态转移矩阵A、初始分布π和发射概率。发射概率描述“当设备处于某个状态时观测功率服从什么分布”。单独用一个HMM去拟合一台设备很容易但NILM面对的是总功率是所有设备状态共同作用的结果。如果只是训练多个独立HMM、然后各自解码再相加会出问题因为任一台设备状态的改变都会影响总观测独立解码时彼此没有约束可能解出“冰箱开着、空调也开着”但总功率却对不上的荒唐组合。FHMM把K台设备的HMM并成一个联合模型联合状态是各设备状态的笛卡尔积。设备之间假设独立所以联合转移矩阵是各个转移矩阵的Kronecker积联合发射概率则是“所有设备状态均值相加后加噪声”的总功率模型。这样一来分解问题变成了对联合隐状态序列的推断设备间的约束自然被带上。工程上的直接收益是训练阶段可以各设备独立训练或者半监督初始化推断阶段再组合成联合状态空间。这意味着我们能复用hmmlearn这类成熟库去训单设备模型而不需要自己从零写Baum-Welch。2.2 落地前必须敲定的五个工程参数FHMM最怕不是模型推不出来而是参数给得不符合物理事实。下面这五项在你写代码前就该定下来。参数建议取值影响设备状态数K_i冰箱2空调3微波炉2电脑2状态数少了分不出档位多了会过度拟合噪声采样间隔8秒~1分钟小于8秒数据量太大大于1分钟会漏掉短时运行设备观测特征有功功率P必要时加无功功率QP对电阻类设备区分度好Q能补电机类设备差异设备清单先选3~5台大功率设备过多设备联合状态爆炸过少又没意义发射噪声标准差10W~20W太小模型过拟合尖峰太大掩盖小功率设备状态数的选择是最容易拍脑袋的地方。常见做法是先看设备铭牌和额定功率档位例如空调一般有“待机、低风、高风”三档那就给3个状态。数据驱动一点的话可以用BIC或肘部法则在2~5个状态里选但那是后期优化基线阶段直接按物理常识设置就行。采样间隔要和设备类型配套。冰箱压缩机一轮工作几十分钟1分钟采样也能捕捉到。但微波炉只运行一两分钟用1分钟采样就可能只看到半个脉冲这种设备要么不放进清单要么提高采样率。观测噪声的标准差可以先设15W左右后面用训练集的残差再去校准它。2.3 手写一个最小FHMM核心转移矩阵组合、联合发射概率与维特比解码hmmlearn这类库没有直接提供FHMM实现需要自己拼装。下面这个最小骨架是所有后续工作的地基它不负责训练只负责把多台设备的HMM参数组合成联合模型并对一段总功率序列做维特比解码。import numpy as np from itertools import product class TinyFHMM: def __init__(self, models, mean_power, noise_std15.0): models: 每个设备一个 dict含 A转移矩阵和 pi初始分布 mean_power: mean_power[设备下标][状态下标] 该状态的功率均值(W) noise_std: 总功率高斯噪声标准差 self.models models self.mean_power mean_power self.noise_std noise_std self._build_joint_params() def _build_joint_params(self): state_space [range(m[A].shape[0]) for m in self.models] self.joint_states list(product(*state_space)) # 所有联合状态 self.S len(self.joint_states) # 联合转移矩阵独立设备 Kronecker 积 A self.models[0][A] for m in self.models[1:]: A np.kron(A, m[A]) self.A A pi self.models[0][pi] for m in self.models[1:]: pi np.kron(pi, m[pi]) self.pi pi # 联合状态下总功率均值 各设备状态均值之和 self.means np.array([ sum(self.mean_power[d][s] for d, s in enumerate(st)) for st in self.joint_states ]) def decode(self, P): P: 一维 numpy 数组单位 W已重采样到固定间隔 返回 (各设备状态序列, 联合状态序列) T len(P) V np.full((T, self.S), -np.inf) back np.zeros((T, self.S), dtypeint) def log_emit(t, s): diff P[t] - self.means[s] return -0.5 * ((diff / self.noise_std) ** 2) V[0] np.log(self.pi 1e-12) [log_emit(0, s) for s in range(self.S)] for t in range(1, T): for s in range(self.S): trans np.log(self.A[:, s] 1e-12) V[t - 1] best np.argmax(trans) V[t, s] trans[best] log_emit(t, s) back[t, s] best state_seq np.empty(T, dtypeint) state_seq[-1] np.argmax(V[-1]) for t in range(T - 1, 0, -1): state_seq[t - 1] back[t, state_seq[t]] return self._map_to_devices(state_seq), state_seq def _map_to_devices(self, seq): return np.array([self.joint_states[s] for s in seq]).T逻辑说明联合转移矩阵用np.kron逐台设备乘起来顺序要与itertools.product的枚举顺序一致——product按第一个设备变化最慢、最后一个设备变化最快遍历np.kron也是先展开右侧再左侧两者对齐。维特比里加1e-12是为了防止转移概率为0时取对数报错。发射概率简化为高斯分布的对数没算归一化常数因为它对同一时刻所有状态是常数不影响argmax结果。参数说明noise_std这个值取大了会让解码倾向于停留在概率上“安全”的状态导致状态切换不灵敏取小了又会让解码去追每个功率尖峰。先给15W跑一版然后看残差的方差再回来调整。这个骨架只支持暴力维特比联合状态数超过两三百个时速度会肉眼可见地变慢第5章再讲怎么用束搜索替代。3. 数据准备与特征工程从总表功率一路做到能喂给FHMM的训练样本3.1 公共数据集选型优先AMPds还是UK-DALE、REDDNILM领域常用的三个公共数据集各有脾气。AMPds是加拿大一户家庭1分钟采样有21个回路记录时长超过一年适合验证季节变化对模型的影响。UK-DALE采样率较高6秒~1秒多户家庭带电器事件标注适合需要精确开关时刻的场景。REDD出现得早数据质量参差但胜在设备类型丰富。我的建议是别贪多先选一个数据集、三到五台设备、两三周数据把整条链路跑通。例如AMPds里挑冰箱、空调、微波炉和洗碗机全都是状态边界清晰的设备。注意取“总表”数据时要取数据集的mains或whole_house字段不要自己把各个回路相加——真实总表还包含线路损耗和少量未计量设备自己加出来的数字过干净反而会掩盖模型的真实表现。3.2 重采样与对齐1分钟数据做不了的事别上模型硬扛数据集里不同回路的采样时间戳往往错位有些设备数据还缺一段。第一步是把所有序列重采样到统一间隔并用中位数滤波处理异常尖峰。import pandas as pd def load_and_clean(mains_csv, circuit_csvs, freq1min): # 总表数据 mains pd.read_csv(mains_csv, parse_dates[timestamp], index_coltimestamp) P_main mains[power].resample(freq).mean() # 各设备回路 devices {} for name, path in circuit_csvs.items(): df pd.read_csv(path, parse_dates[timestamp], index_coltimestamp) devices[name] df[power].resample(freq).mean() # 按总表有效时间对齐 frames [P_main] list(devices.values()) df pd.concat(frames, axis1, joininner) df.columns [mains] list(devices.keys()) # 用61点滑动中位数处理异常尖峰和负值 for col in df.columns: x df[col] med x.rolling(61, centerTrue, min_periods1).median() df[col] x.where(x.between(-20, x.quantile(0.999) * 3), med) return df参数说明freq1min把高采样率数据降到1分钟能平滑瞬时尖峰代价是丢短时设备事件。rolling(61)在1分钟采样下约等于1小时的滑动窗口对功率曲线的长周期漂移比如气温升高导致空调功率波动不敏感。中位数滤波对“瞬时毛刺”很有效但会磨掉真实的高频开关动作所以这个清洗步骤只用于训练集测试集不建议做重滤波否则评估结果会虚高。缺失段的处理要格外小心中间缺了超过5分钟的连续数据直接切片断开不要用插值硬接。插值会让模型以为设备在缺失段内保持某个状态污染状态转移矩阵的估计。3.3 要不要用无功功率和谐波特征选择在FHMM里的真实作用FHMM的发射模型可以是一维高斯也可以是二维高斯。一维时只使用有功功率P这是最稳妥的起点。P对电阻类设备电暖器、电水壶区分度好对电机类设备空调压缩机、冰箱和纯电阻类设备的区分其实有限。无功功率Q能补这个短板。空调、冰箱这类带电机和变频器的设备其Q/P比例与电阻类设备明显不同在二维发射模型下更容易区分。代价是每个联合状态要维护一个二维高斯协方差矩阵参数变多训练数据不足时容易过拟合。谐波特征更复杂NI LM的学术论文里常常作为加分项但工程上第一版不要碰它。谐波的采集频率通常要几kHz和功率数据对齐本身就费劲收益却不一定明显。如果数据集里没有Q不用强求。先用P跑通等基线稳了再考虑扩展特征维度。3.4 训练-验证-测试窗口切分防止把同一周既训练又测试时间序列最忌讳随机切分。冰箱的运转周期、家庭用电作息都有周期性如果把同一周的数据既拿来训练又拿来测试模型会“记住”这周的作息换成新的一周立刻打回原形。train_end df.index[int(len(df) * 0.7)] train df.loc[:train_end] test df.loc[train_end:] # 监督/半监督训练用 train 里各设备单独功率序列 fridge_train train[fridge].dropna().values hvac_train train[hvac].dropna().values # ...更稳的做法是跨季节抽样例如在1月和7月各取两周作测试训练覆盖这两个月前后的数据。FHMM的设备参数被假设是静态的但空调夏天和冬天的平均功率差别很大单靠一段数据训练出来的发射模型会随着季节偏移。所以你训练时看到的F1再高也别高兴太早先看一眼测试段落在哪个季节。4. 训练、评估与可视化让因子隐马尔可夫模型真的能分解出每一台设备4.1 EM训练Baum-Welch在FHMM里怎么落地TinyFHMM只负责解码参数从哪来常见做法是用hmmlearn对每台设备的单独功率序列做监督/半监督训练然后把训练好的转移矩阵和发射均值填入TinyFHMM。为什么可以分开训练因为FHMM假设设备独立联合模型的先验部分转移矩阵、初始分布就是各设备参数的乘积观测共享只影响解码阶段。from hmmlearn import hmm def fit_device_hmm(device_power, n_states, n_iter50): device_power: 该设备有功功率一维序列 n_states: 状态数按设备档位设置 返回模型和状态功率均值 X device_power.reshape(-1, 1) model hmm.GaussianHMM( n_componentsn_states, covariance_typediag, n_itern_iter, tol1e-4, random_state42, ) model.fit(X) means model.means_.ravel() return model, means参数说明n_components必须对应设备真实档位空调给3、冰箱给2别图省事统一设成2。n_iter50是一般收敛范围如果日志显示没收敛就加大到100。covariance_typediag在单特征下就是普通方差扩展到二维时才体现区别。random_state42是为了复现不然模型每次随机初始化结果差别很大。有一个值得注意的点hmmlearn训练时按最大似然原则搜索但一次训练可能陷入局部最优。我一般会固定随机种子多跑几次选择log-likelihood最高的结果但不会根据测试集指标来回挑模型——那等于在测试集上调参会导致后续评估失真。4.2 把训练结果组装成FHMM并完成总表解码三台设备训练完后直接组装成TinyFHMM并跑解码。models [] means_per_device [] for name in [fridge, hvac, microwave]: power train[name].dropna().values m, means fit_device_hmm(power, n_states2) models.append({A: m.transmat_, pi: m.startprob_}) means_per_device.append(means) fhmm TinyFHMM(models, means_per_device, noise_std15.0) device_state_seq, joint_seq fhmm.decode(test[mains].values)解码结果里device_state_seq是一个二维数组第一行是冰箱状态序列第二行是空调第三行是微波炉。把每个状态映射到训练得到的功率均值就得到各设备的分解功率曲线。这里有个工程细节如果某台设备在训练数据里某个状态出现次数极少转移矩阵里那一行会接近零解码时代码加上1e-12还能跑但状态基本不会出现。这通常是状态数给多了把n_states降回来。4.3 评估指标F1、MAE怎么算各自的适用边界NILM评估不能只看一个指标。状态判定类指标用F1功率还原类指标用MAE两个都要看。from sklearn.metrics import f1_score def evaluate_state_and_power(state_true, state_pred, power_true, power_pred): # 二值设备只看开/关 f1 f1_score(state_true, state_pred, averagebinary) # 多状态设备按档位分别算F1再平均避免高功率档位淹没低功率档位 # 功率误差分设备算再跨设备取平均 mae np.mean(np.abs(power_true - power_pred)) return {F1: f1, MAE_W: mae}F1的坑在于多状态设备。假设空调三档待机、低风、高风大多数时间在待机一个“永远预测待机”的模型F1会很高但它完全没抓到制冷时段。所以对多状态设备要按状态分别算precision/recall再平均或者直接看功率曲线的MAE。MAE的坑则在于大功率设备误差会淹没小功率设备。空调偏差100W和路由器偏差5W平均MAE时前者占主导。按设备算MAE再向用户汇报时按设备逐一列出来。4.4 可视化验证把分解功率和真实功率画在一起看状态切换时间点指标只能告诉你“差多少”不能告诉你“错在哪”。自己采集数据做验证时最有效的动作是画图。import matplotlib.pyplot as plt # 取测试集前240个点4小时展示 t test.index[:240] ax plt.subplot() ax.plot(t, decompose_power(device_state_seq[0], means_per_device[0])[:240], labelfridge_pred) ax.plot(t, test[fridge].values[:240], labelfridge_true, alpha0.8) plt.legend() plt.savefig(fridge_decoding.png, dpi150)看什么第一看状态切换时刻是否对齐冰箱压缩机的启动和停机时间点能不能对上第二看稳态功率值是否一致。如果稳态一致但切换时刻乱跳多半是转移矩阵建模有问题如果切换时刻还行但稳态功率不对则是发射均值估计偏了。4.5 训练时最常被忽略的数据泄漏与测试分布偏移做NILM基线最容易犯的错就是把训练和测试混在一起。除了第3章说的按时序切分还要注意从设备单独序列里训练HMM时不要用测试时段的数据去补缺失值。另一个隐蔽问题是季节分布偏移冰箱在夏季的制冷次数明显增加但每次制冷的功率均值变化不大空调则完全不同夏季平均功率可能是春秋的两倍。当你想把模型从一个月推广到全年时最好训练数据覆盖多个温度区间否则测试效果会随季节越来越差。5. 避坑/常见问题/排查FHMM做非侵入式负荷分解最容易翻车的五个场景5.1 分解结果里所有设备永远同一个状态现象解码出来的设备状态序列几乎不变冰箱永远“待机”空调永远“待机”总功率一波动模型没有任何反应。原因转移矩阵训练时自转移概率过高模型宁可维持原状态也不愿付出状态切换的代价。另一种常见原因是联合状态枚举顺序与Kronecker积顺序不一致导致转移矩阵行列错位解码器只能找到一个“安全”的局部最优。解决检查_build_joint_params里np.kron和itertools.product的顺序是否一致然后给转移矩阵加自转移下限例如把对角线概率最小值限制在0.8附近阻止模型“永不变换”。也可以训练完直接看model.transmat_的对角线值如果都超过0.98说明设备状态过于稳定适当减少状态数。5.2 小功率设备完全分不出来大功率设备也不稳现象清单里有台50W的路由器解码结果里它的状态从来没变过。原因观测信噪比不足。总功率噪声标准差15W路由器开关只有50W差距理论上还能分但当它和大功率设备同时工作时总功率的变化主要由大设备主导。FHMM是高斯发射模型小设备的信号被当成噪声吸收了。解决先锚定大功率设备把它们的状态解准再回头加小设备。另一种做法是给发射模型增加每个设备各自的方差而不是全局统一噪声。如果小设备已被吸收干净就没必要硬塞进FHMM。NILM的可分解功率下限一般就在30W左右低于这个量级建议直接放弃。5.3 模型训练收敛但解码效果还不如简单的功率阈值现象模型log-likelihood收敛得很漂亮但分解出的冰箱状态切换抖动连“功率100W判定为开”的阈值法都不如。原因GaussianHMM假设每个状态的功率呈单高斯分布但冰箱的“制冷”状态功率可能在不同工况下相差很大单高斯无法覆盖这种多峰分布。另一个原因是没有建模状态驻留时长模型允许设备在相邻时刻疯狂切换状态。解决把发射模型换成GMMHMM每个状态内部用2~3个高斯分量覆盖多工况。from hmmlearn import hmm model hmm.GMMHMM( n_components2, # 设备状态数 n_mix3, # 每个状态用3个高斯分量 covariance_typediag, n_iter50, random_state42, ) model.fit(X)5.4 换了自己的表计数据就翻车现象公共数据集上跑得好好的换成自己采集的智能电表数据后完全乱套。原因自采数据最常见的坑是采样间隔不稳有时5秒一个点有时20秒一个点其次是单位问题有些电表上报的正向有功电能单位是0.001kWh换算成功率要做差分容易搞错量级还有时间戳时区混乱导致重采样后数据错位。解决先画原始波形确认量级再对时间戳做差分检查间隔分布。# 用 pandas 检查时间戳间隔 df.index.to_series().diff().describe()5.5 联合状态空间爆炸现象6台设备平均每台3个状态联合状态空间3^6729解码一个7天的序列耗时几分钟。原因暴力维特比每个时间步要遍历S^2个转移组合S指数增长计算量增长是平方级别。解决先控制设备数量5台以上就不要用暴力维特比。改用束搜索每个时间步只保留分数最高的K个候选路径跳过低概率分支。工程上的第一优先不是优化算法而是精简设备清单。6. 进阶把FHMM从基线变成可上线的分解工具——束搜索、约束注入与在线校准当你跑通了5台以内的FHMM基线接着需要面对三个问题解码速度、状态持久性、参数漂移。束搜索替代暴力维特比是最直接的提速手段。每个时间步只保留Top-K候选状态K取50~100计算复杂度降到O(TKS)设备数到8台也能跑。代价是可能丢掉全局最优路径但NILM里绝大多数状态转移概率很低截断后几乎不影响结果。另一个加速技巧是利用转移矩阵的Kronecker结构按设备维度做动态规划这需要重写解码器收益比束搜索更明显但改动量也更大。状态持久性约束值得认真做。真实设备的状态切换有物理限制冰箱压缩机最短运行时间通常在5分钟以上不可能隔几秒就切换。你可以在维特比解码时不改转移矩阵而是在后处理里过滤掉短于阈值的状态片段更优雅的写法是给“保持当前状态”的转移概率加权重具体做法是把转移矩阵改造成“平均状态驻留时间至少10个采样点”的形式即对角元素设为1-exp(-1/10)。这个参数在采样率为1分钟时约等于10分钟能大幅减少状态抖动。在线校准是落地时绕不开的一环。设备功率会漂移冰箱结霜后平均功率上升空调夏季功率高于春秋。典型做法是每隔一定时间窗口用当前解码出的状态片段重新估计发射均值冻结转移矩阵只更新均值。这个操作要防止重估漂移——如果某段时间解码错了用它更新均值只会让错上加错。保险的做法是先计算窗口内分解曲线与总表残差的方差残差方差比训练阶段明显增大时才触发重估。验证技巧把分解出的冰箱功率和真实回路功率做24小时滑窗相关性相关系数低于0.6说明状态切换的时刻不对不是功率幅值问题此时调均值没用要回头调转移矩阵或状态数。我自己的习惯是每换一个数据集先画一周真实功率曲线再动手建模。第一次做NILM时我在公共数据集上跑通后直接换上自采数据结果因为采样间隔不一致连续翻车三天后来老老实实先画原始波形、确认量级和单位、再走清洗管线才把基线稳住。如果你打算把FHMM当作NILM的起点建议冰箱、空调加微波炉三台设备起步跑通后再扩大设备范围。希望帮到你。本文还有配套的精品资源点击获取