当深度学习模型训练完成后除了关心精度和推理速度越来越多的研究开始关注一个更深层的问题模型内部到底学到了什么规律尤其是对于二值化网络、逻辑规则类模型能否把训练好的权重“翻译”成可读的逻辑表达式或电路结构本文将围绕Sparse Weight Decomposition for Efficient Circuit Extraction面向高效电路提取的稀疏权重分解这一主题展开。我会先解释它解决什么问题再拆解核心原理最后用 PyTorch 给出一个完整的实验示例展示如何对稀疏化后的网络做电路提取。无论你是做模型压缩、可解释性还是对神经网络硬件部署感兴趣这篇文章都能提供一条可落地的研究思路。1. 背景为什么要做稀疏权重分解与电路提取1.1 从一个具体问题说起假设我们训练好了一个二分类神经网络输入是 8 个布尔特征输出是 0 或 1。网络精度很高但我们无法直观回答“它到底根据什么规则做判断”。是“特征 1 与特征 2 同时为真时输出 1”还是“特征 3 为假且特征 5 为真时输出 1”如果我们能把网络中的计算过程还原成一组逻辑表达式例如output (x1 AND x2) OR (NOT x3 AND x4)那么模型的决策规则就变得完全透明。这种把神经网络计算过程映射为逻辑门电路或布尔表达式的操作就是电路提取Circuit Extraction。1.2 稀疏权重分解与电路提取的概念先分别理解两个关键词权重分解Weight Decomposition把一个训练好的权重矩阵拆解成多个结构更简单、更容易解释的子矩阵。常见方法包括奇异值分解SVD、低秩分解Low-Rank Factorization、稀疏化Sparsification等。电路提取Circuit Extraction将神经网络中的线性变换、激活函数等运算转化为等价的逻辑电路描述例如 AND、OR、NOT 门或 Verilog、AIGER 等硬件描述格式。“稀疏权重分解”与“电路提取”组合在一起核心思路是先让网络权重变得稀疏减少不必要的连接再对稀疏网络做电路映射从而降低提取出的电路的规模和复杂度。1.3 应用场景与核心收益这项技术的主要应用场景包括模型可解释性验证在高可靠性领域航空航天、医疗、金融风控决策规则必须能被人类审查。电路提取提供了一种强验证手段。硬件部署逻辑电路相比浮点矩阵运算在 FPGA/ASIC 上更节省资源。稀疏网络映射为电路后可以显著降低硬件开销。安全验证通过将模型转换为电路可以使用形式化验证工具如 SAT Solver检查模型是否存在安全漏洞或对抗样本。教学与逆向分析对小型网络做电路还原有助于理解神经网络内部表达。与直接对稠密网络做电路提取相比先做稀疏权重分解再提取收益非常明显方案电路门数提取耗时可读性直接提取稠密网络高长差稀疏化后提取低短好稀疏分解结构化剪枝后提取最低最短最好2. 核心原理拆解2.1 稀疏权重分解的基本思路稀疏权重分解的出发点很简单不是所有连接都对最终结果有贡献。通过训练过程中的正则化、训练后的剪枝或者矩阵分解我们可以把大量接近 0 的权重置为 0只保留关键连接。常见做法有三种。第一种是硬阈值掩码。设定一个阈值把绝对值低于阈值的权重直接置为 0mask torch.abs(weight) threshold sparse_weight weight * mask第二种是L1 正则化 训练后剪枝。在损失函数中加入 L1 正则项使权重在训练过程中自然变得稀疏然后再按比例剪掉最小的权重。第三种是低秩分解。把权重矩阵 ( W ) 近似分解为两个小矩阵的乘积 ( W \approx U V )减少参数量。虽然这不是严格意义上的稀疏化但同样能降低后续电路提取的复杂度。在实际项目中常把多种方法组合使用先 L1 正则化训练再硬阈值剪枝最后做低秩压缩。2.2 电路提取的两种常见路径把稀疏网络转换成电路主要有两条技术路径。路径一逐层映射布尔逻辑适用于二值化网络或经过阈值判定的网络。把每个神经元的计算拆成z sum(w_i * x_i) b output 1 if z 0 else 0当权重 ( w_i ) 已经稀疏化后我们可以只关注非零连接。每个非零连接相当于一个条件如果 ( x_i ) 为真则对 ( z ) 贡献 ( w_i )。最终输出由若干“权重和是否超过阈值”决定这可以编码为比较器电路。路径二符号化简与真值表还原适用于输入维度较小的小型网络。遍历所有可能的输入组合记录网络输出生成真值表再使用 Karnaugh Map 或 Quine-McCluskey 算法化简为最小布尔表达式。这种方法的缺点是输入维度较大时会爆炸只适合教学演示和小规模网络。2.3 为什么要先稀疏再提取电路提取的复杂度与网络连接的规模直接相关。假设一个隐藏层有 ( N ) 个神经元每个神经元连接 ( M ) 个输入那么提取电路时至少需要处理 ( N \times M ) 个连接。如果权重是稠密的提取电路时每个连接都必须被映射而如果权重稀疏度为 90%理论上只需处理 10% 的连接电路规模可以大幅缩减。更重要的是稀疏化可以去掉冗余逻辑。训练好的网络中大量权重绝对值很小它们对输出的影响微乎其微。但在电路映射时这些微小权重仍然会转换成逻辑门造成浪费。通过稀疏化我们可以确保只有真正影响决策的连接被保留下来从而得到更紧凑的电路。3. 环境准备与版本说明3.1 运行环境本文示例以 Python PyTorch 为主。具体版本需要根据你的项目实际情况调整本文示例以常见环境为例重点演示配置思路。我使用的环境参考如下操作系统Ubuntu 20.04 / Windows 10 / macOS 均可 Python3.8 及以上 PyTorch1.10 及以上2.x 也可以 NumPy1.21 及以上3.2 依赖库安装建议使用 conda 或 venv 创建独立环境conda create -n circuit_extract python3.9 conda activate circuit_extract pip install torch numpy如果你需要可视化网络结构和权重分布可以额外安装 matplotlibpip install matplotlib3.3 示例项目结构为了便于理解我们按下面的结构组织代码circuit_extract_demo/ ├── model.py # 定义小型神经网络 ├── train.py # 训练并保存稀疏权重 ├── sparsify.py # 稀疏权重分解与剪枝 ├── extract.py # 电路提取与验证 └── data_gen.py # 生成布尔数据集4. 完整实战基于 PyTorch 的稀疏权重分解与电路提取演示下面我们动手实现一个完整流程。为了便于观察电路提取结果我们构造一个具有人工规则的小型二分类任务8 个布尔输入输出由两条规则决定。网络需要从数据中学会规则我们再把它提取成电路对比是否与真实规则一致。4.1 生成带规则的数据集首先构造数据生成器。我们定义真实规则为output 1当且仅当 (x1 AND x2) OR (x3 AND x4) 为真这样网络学习的目标是已知的便于后续验证提取结果。文件data_gen.pyimport torch def generate_data(num_samples5000, seed42): torch.manual_seed(seed) # 生成 8 维布尔输入取值为 0 或 1 x torch.randint(0, 2, (num_samples, 8)).float() # 真实规则(x1 AND x2) OR (x3 AND x4) # 注意索引从 0 开始x1 对应 x[:, 0]x2 对应 x[:, 1] x1 x[:, 0] x2 x[:, 1] x3 x[:, 2] x4 x[:, 3] y ((x1 * x2) (x3 * x4) 0).float() return x, y if __name__ __main__: x, y generate_data() print(输入形状:, x.shape) print(输出形状:, y.shape) print(正样本比例:, y.mean().item())运行后预期输出输入形状: torch.Size([5000, 8]) 输出形状: torch.Size([5000]) 正样本比例: 0.43584.2 定义小型神经网络我们使用一个两层全连接网络。注意为了让后续电路提取更简单激活函数选用 ReLU并在输出层使用 Sigmoid。文件model.pyimport torch.nn as nn class SmallNet(nn.Module): def __init__(self, input_dim8, hidden_dim16): super(SmallNet, self).__init__() self.fc1 nn.Linear(input_dim, hidden_dim) self.relu nn.ReLU() self.fc2 nn.Linear(hidden_dim, 1) self.sigmoid nn.Sigmoid() def forward(self, x): h self.relu(self.fc1(x)) out self.sigmoid(self.fc2(h)) return out这里有两个关键点隐藏层维度选择 16目的是让网络有足够容量表达规则但不至于大到难以分析。使用 ReLU 而不是 Tanh是因为 ReLU 的“大于 0 才激活”特性更容易映射为逻辑判断。4.3 训练网络文件train.pyimport torch import torch.nn as nn from torch.utils.data import TensorDataset, DataLoader from model import SmallNet from data_gen import generate_data def train(): # 数据集 x, y generate_data() dataset TensorDataset(x, y) loader DataLoader(dataset, batch_size64, shuffleTrue) # 模型与优化器 model SmallNet(input_dim8, hidden_dim16) criterion nn.BCELoss() optimizer torch.optim.Adam(model.parameters(), lr0.01) # 训练 model.train() for epoch in range(100): total_loss 0.0 for batch_x, batch_y in loader: optimizer.zero_grad() output model(batch_x).squeeze() loss criterion(output, batch_y) loss.backward() optimizer.step() total_loss loss.item() if (epoch 1) % 20 0: print(fEpoch [{epoch 1}/100], Loss: {total_loss / len(loader):.4f}) # 评估精度 model.eval() with torch.no_grad(): pred (model(x).squeeze() 0.5).float() acc (pred y).float().mean().item() print(f训练集精度: {acc:.4f}) # 保存模型 torch.save(model.state_dict(), model_weights.pth) print(模型已保存到 model_weights.pth) if __name__ __main__: train()训练过程中网络应该能快速收敛到接近 100% 的精度因为这个任务本身是线性可分的逻辑规则。4.4 稀疏权重分解与剪枝训练完成后我们执行核心的稀疏化操作。目标是把绝对值过小的权重置为 0同时尽量不损失精度。文件sparsify.pyimport torch from model import SmallNet from data_gen import generate_data def apply_sparsity(model, threshold0.1): 对模型权重做硬阈值稀疏化。 将绝对值小于 threshold 的权重置为 0。 for name, param in model.named_parameters(): if weight in name: mask torch.abs(param.data) threshold # 应用掩码保留大权重 param.data * mask # 统计稀疏度非零比例 nonzero_ratio mask.float().mean().item() print(f{name} 非零比例: {nonzero_ratio:.4f}) return model def evaluate(model): x, y generate_data() model.eval() with torch.no_grad(): pred (model(x).squeeze() 0.5).float() acc (pred y).float().mean().item() return acc def main(): # 加载训练好的模型 model SmallNet(input_dim8, hidden_dim16) model.load_state_dict(torch.load(model_weights.pth)) # 剪枝前精度 acc_before evaluate(model) print(f剪枝前精度: {acc_before:.4f}) # 稀疏化 model apply_sparsity(model, threshold0.2) # 剪枝后精度 acc_after evaluate(model) print(f剪枝后精度: {acc_after:.4f}) # 保存稀疏模型 torch.save(model.state_dict(), model_sparse.pth) print(稀疏模型已保存到 model_sparse.pth) if __name__ __main__: main()这里为什么阈值取 0.2因为对于这个小型布尔任务网络学到的有效权重大小通常在 0.5 以上而噪声权重则集中在 0 附近。0.2 可以很好地分隔两者。实际项目中阈值需要根据权重分布来确定。可以先打印权重直方图观察分布是否存在明显的“零附近峰”再决定阈值。4.5 将稀疏网络映射为布尔电路描述现在进入最核心的部分电路提取。我们将稀疏网络逐层转换为逻辑表达式。思路如下输入层到隐藏层对每个隐藏神经元 ( j )其输入为[ z_j \sum_i w_{ji} x_i b_j ]如果 ( w_{ji} ) 为 0则对应连接被忽略。对稀疏化后的网络非零连接通常很少。激活函数处理ReLU 等价于判断 ( z_j 0 )。所以每个隐藏神经元的输出 ( h_j 1 ) 当且仅当点积和超过负偏置。隐藏层到输出层输出神经元同样做加权求和与阈值判断。为了简化映射我们做如下约定输入 ( x_i ) 是布尔值0/1。权重为正表示“正贡献”权重为负表示“负贡献”。如果某个神经元的权重全部为正则“加权和大于阈值”等价于“多个输入条件同时满足”对应 AND 逻辑。如果存在负权重相当于 NOT 条件对应(x_i AND NOT x_j)这类形式。文件extract.pyimport torch from model import SmallNet def extract_circuit(model, threshold0.2): 将稀疏网络转换为逻辑表达式。 这是简化版实现只适用于小规模布尔输入网络。 circuits [] # 第一层权重与偏置 w1 model.fc1.weight.data b1 model.fc1.bias.data # 隐藏层神经元数量 hidden_units w1.shape[0] hidden_exprs [] for j in range(hidden_units): terms [] for i in range(w1.shape[1]): w w1[j, i].item() if abs(w) threshold: continue # 跳过稀疏化后的零权重 # 按权重正负生成条件项 if w 0: terms.append(fx{i 1}) else: terms.append(fNOT x{i 1}) if len(terms) 0: # 没有有效连接隐藏神经元恒等于偏置符号决定的常量 expr 1 if b1[j].item() 0 else 0 elif len(terms) 1: # 单个条件权重绝对值能否超过阈值 w_abs sum(abs(w1[j, i].item()) for i in range(w1.shape[1]) if abs(w1[j, i].item()) threshold) bias b1[j].item() # 条件w_abs -bias if w_abs -bias: expr terms[0] else: expr 0 else: # 多个条件要求所有条件同时成立即 AND expr AND .join(terms) # 这里简化处理真正严格的做法需要比较加权和与阈值 hidden_exprs.append(expr) # 第二层权重与偏置 w2 model.fc2.weight.data.squeeze() b2 model.fc2.bias.data.squeeze() output_terms [] for j in range(hidden_units): w w2[j].item() if abs(w) threshold: continue if w 0: output_terms.append(f({hidden_exprs[j]})) else: output_terms.append(f(NOT ({hidden_exprs[j]}))) if len(output_terms) 0: final_expr 1 if b2.item() 0 else 0 else: final_expr OR .join(output_terms) return final_expr def main(): model SmallNet(input_dim8, hidden_dim16) model.load_state_dict(torch.load(model_sparse.pth)) expr extract_circuit(model, threshold0.2) print(提取到的逻辑表达式:) print(expr) if __name__ __main__: main()这个实现是有意简化的目的是展示电路提取的整体流程。对于真正的电路级还原你需要用工具如pyAiger或ABC并且需要逐层做精确的加权和比较而不是简单地拼接 AND/OR。但通过这个示例你可以直观感受到“稀疏化让电路更简单”的含义。4.6 验证提取结果提取出的表达式是否准确我们用穷举法验证遍历 8 个输入特征的全部 256 种组合比较网络输出与表达式输出。import torch import itertools from model import SmallNet def evaluate_expression(expr, x): 简化版手动计算表达式的值。 这里我们用 Python 的 eval 配合局部符号表来求值。 注意仅限教学演示表达式必须符合 Python 语法。 # 将 NOT x 替换为 (1 - x) expr_py expr.replace(NOT , 1 - ) # 将 AND 替换为 *布尔乘法 expr_py expr_py.replace( AND , * ) # 将 OR 替换为 布尔加法后取正 expr_py expr_py.replace( OR , ) local_vars {} for i in range(8): local_vars[fx{i 1}] x[i] result eval(expr_py, {__builtins__: {}}, local_vars) return 1 if result 0 else 0 def main(): model SmallNet(input_dim8, hidden_dim16) model.load_state_dict(torch.load(model_sparse.pth)) expr extract_circuit(model) print(提取表达式:, expr) # 穷举 256 种输入组合 mismatch 0 for bits in itertools.product([0, 1], repeat8): x_tensor torch.tensor(bits, dtypetorch.float32).unsqueeze(0) with torch.no_grad(): net_out (model(x_tensor).squeeze() 0.5).int().item() expr_out evaluate_expression(expr, bits) if net_out ! expr_out: mismatch 1 print(f不一致: {bits}, 网络输出{net_out}, 表达式输出{expr_out}) print(f总不一致数: {mismatch} / 256) if __name__ __main__: main()如果一切顺利不一致数为 0。但这个预期并不绝对因为我们在提取时做了“多条件 AND”的简化当权重绝对值刚好等于阈值或偏置影响被忽略时可能会出现少量不一致。这正是稀疏化与电路提取之间的一个现实张力提取出的电路与原始网络永远无法 100% 等价除非保留浮点精度的精确计算。5. 常见问题与排查思路5.1 剪枝后精度下降明显问题现象常见原因解决思路稀疏化后精度从 99% 降到 80%阈值设置过大剪掉了有效权重降低阈值观察权重分布选择“零附近峰”和“有效权重峰”之间的谷底值精度直接降到随机水平偏置没有同步调整导致神经元输出偏移剪枝后重新校准偏置或剪枝后做几轮微调训练某个隐藏层几乎全为 0该层本身对最终输出贡献很小将该层神经元数量减少或调整稀疏化策略对每层设置独立阈值5.2 提取的电路表达式与网络行为不一致问题现象常见原因解决思路穷举验证有少量不一致电路提取时把加权和简化为简单 AND/OR使用精确的比较器语义提取时计算每个条件的权重和生成“加权和 阈值”的完整表达式表达式过于复杂隐藏层神经元数量过多增加稀疏化力度先做低秩分解再提取限制隐藏神经元数量表达式包含大量 NOT 项权重正负混杂逻辑分支多尝试在训练时加入权重符号一致性约束或在提取前对权重做符号逆转与重参数化5.3 稀疏化后训练时无法收敛问题现象常见原因解决思路训练集上 Loss 不下降稀疏化力度过大模型表达能力不足减少剪枝比例采用渐进式剪枝训练过程中逐步增加稀疏度验证集上震荡明显微小权重被置 0破坏了梯度通路使用 Straight-Through EstimatorSTE技巧正向传播时使用掩码权重反向传播时保留原权重的梯度不同随机种子结果差异大网络容量与任务复杂度不匹配增大隐藏层容量或者简化任务本身5.4 排查清单遇到问题不要慌按以下顺序排查检查剪枝前后精度确定问题出在稀疏化阶段还是电路提取阶段。可视化权重分布绘制torch.histc权重直方图确定合理的稀疏化阈值。逐层验证剪枝后先单独验证第一层输出是否与剪枝前一致。用穷举法验证小规模网络如果输入维度小逐条对比网络输出与表达式输出直接定位哪条输入路径出错。6. 最佳实践与工程建议6.1 渐进式稀疏化比一次性剪枝更稳定一次性硬剪枝容易让网络“崩溃”。更稳定的做法是前 30% 的训练轮次正常训练。中间 40% 的轮次逐步增加稀疏度比如每 5 个 epoch 提升一次稀疏度目标。最后 30% 的轮次固定掩码只对非零权重做微调。这种渐进式策略让网络有时间适应稀疏结构最终精度损失往往更小。6.2 电路提取时把偏置视为额外输入一个实用的技巧是在电路提取前把偏置作为一个“恒为 1 的输入节点”拼接到输入向量中。这样偏置可以统一表示为该节点的权重提取逻辑时只需要处理一个矩阵而不需要单独考虑偏置项。这个小改动能让提取代码更简洁、更不易出错。6.3 使用结构化稀疏代替非结构化稀疏非结构化稀疏任意位置置 0虽然压缩效果好但电路提取时仍然需要遍历全部连接位置。结构化稀疏按行、按列或按块置 0更适合硬件映射因为可以整块跳过无用连接。例如对隐藏层做行稀疏化把输出贡献很小的隐藏神经元整行去掉电路规模会大幅缩小。6.4 重视验证与测试不要直接信任提取结果电路提取是一个“重写”过程天然存在误差风险。无论使用哪种提取方法都建议在训练集之外构造独立的验证集。对每种输入组合做穷举验证输入规模小时。对输入规模大的情况使用随机采样 覆盖率统计确保关键路径都被测试到。6.5 安全与权限提醒如果你把这项技术用于生产环境、安全审查或硬件部署请记住所有剪枝和提取操作都应在测试环境验证通过后再实施。修改模型权重前必须备份原始模型文件。电路提取结果作为“解释依据”时必须声明其近似性不能直接认定为模型真实规则。7. 总结与学习路线本文围绕 Sparse Weight Decomposition for Efficient Circuit Extraction完整走通了“生成规则数据集 → 训练小型网络 → 稀疏权重分解 → 电路提取 → 穷举验证”的全流程。核心收获可以概括为三点稀疏化是电路提取的前置优化步骤。它通过去掉冗余连接让后续映射出的电路更紧凑、更可读。电路提取的本质是把权重运算翻译成布尔逻辑。这种翻译不是简单的字符串替换而是带有精度损失的系统工程。验证是提取流程中不可省略的一环。任何提取结果都必须通过穷举或采样验证否则不具备可信度。如果你打算继续深入这个方向建议按下面的路线学习第一步掌握 PyTorch 的nn.utils.prune模块熟悉不同剪枝策略。第二步学习低秩分解SVD、NMF理解矩阵分解如何进一步压缩模型。第三步了解 AIGER 格式和 ABC 工具尝试把小型网络导出为标准电路格式。第四步研究 SAT Solver 与模型形式化验证把电路提取用于对抗样本检测和安全性证明。这个领域目前仍在快速发展很多工具链还没有形成统一标准。但核心思想不变模型不是黑盒只要愿意做减法就能把它拆成人类可理解、机器可验证的结构。如果你在实现过程中遇到本文未覆盖的问题欢迎在评论区交流我会根据实际经验继续补充。