1. 项目概述与核心挑战在机器学习的实际应用中我们常常面临一个两难困境模型既要足够强大以捕捉数据中复杂的非线性关系又要足够“透明”以便我们理解其内部决策逻辑。尤其是在科学计算、工业缺陷检测和物理建模等领域一个“黑箱”模型即使预测准确也可能因为缺乏可解释性而无法被工程师和科学家所信任。传统的多层感知机MLP将非线性激活函数固定在神经元节点上虽然功能强大但其内部表示往往难以解读。近年来Kolmogorov-Arnold Networks (KANs) 的出现提供了一种新的思路——它将可学习的非线性函数从节点转移到了网络的边上通常用B样条B-spline来参数化这些边函数。这种架构不仅理论上具备通用逼近能力还能在训练后通过检查每条边上的样条函数来直观地理解输入与输出之间的关系例如发现类似sin(x)或exp(x)的数学表达式这为“可解释的AI”打开了一扇新的大门。然而理想很丰满现实却很骨感。在实际部署标准KAN时我和许多同行都遇到了几个棘手的问题。首先参数冗余非常严重。为了让B样条足够灵活以逼近任意函数我们通常需要设置相当数量的控制点control points和较高的样条阶数degree。这导致模型的参数空间维度远高于描述底层真实函数所需的最小维度。大量不同的样条参数组合可以产生几乎相同的输入-输出映射这在数学上形成了一个庞大的“冗余空间”或“干扰空间”。其次这种冗余直接导致了训练效率低下和过拟合倾向。模型需要更多的数据来约束这些多余的参数并且在面对噪声数据时很容易“记住”噪声而非学习到真正的规律。最后也是最关键的一点标准KAN缺乏一种机制能够自动发现数据背后可能存在的、更简洁的内在数学结构。许多物理过程天然地适合用特定的函数空间如傅里叶空间描述周期性切比雪夫多项式描述平滑函数来表示但标准的KAN训练对此“视而不见”最终学到的可能是一个复杂、臃肿的样条而不是一个简洁的正弦波或多项式。这就引出了我们工作的核心P-KANProjective KAN。我们的目标不是发明一种全新的神经网络而是为现有的KAN架构注入一个“导航系统”。这个系统的灵感来源于信号处理领域的字典学习和熵最小化原则。简单来说我们不再让边函数在浩瀚无边的样条海洋中盲目探索而是为它提供几个明确的“港口”——例如傅里叶基、切比雪夫多项式基等已知的函数空间。在训练过程中我们持续地将边函数向这些“港口”投影并计算其表示系数的信息熵。熵值越低说明该函数在该空间中的表示越稀疏、越简洁例如一个完美的正弦波在傅里叶空间里只有一个非零系数。通过最小化这个投影熵我们就像施加了一种“引力” gently地引导边函数收敛到最合适、最简洁的数学表达形式上。这个过程是完全可微分的能够无缝集成到标准的反向传播训练中。最终我们得到的不仅是一个预测准确的模型更是一个其内部“电路”由清晰数学函数构成的、高度可解释且参数高效的网络。这对于资源受限的边缘设备部署或需要从模型中提取物理定律的科研场景具有极大的价值。2. 核心原理从冗余样条到稀疏投影要理解P-KAN为何有效我们需要深入其背后的数学和信号处理思想。这不仅仅是添加一个正则项那么简单而是一种对神经网络功能空间进行结构化约束和智能搜索的范式转变。2.1 标准KAN的“冗余空间”问题让我们先量化一下标准KAN的冗余问题。考虑一个训练好的KAN网络其输出关于所有可训练参数主要是样条控制点的雅可比矩阵Jacobian。这个矩阵的每一个元素J_{i,j} ∂f_i / ∂θ_j衡量了第j个参数θ_j对第i个输出的影响敏感度。在一个存在大量冗余参数的模型中雅可比矩阵会包含许多接近于零的奇异值或特征值。这些方向对应的参数变化几乎不会改变网络的输出它们构成了所谓的“干扰空间”。从优化角度看在这些方向上的梯度也接近于零导致训练停滞或缓慢从泛化角度看这些冗余维度极易拟合训练数据中的噪声损害模型的鲁棒性。Oymak等人的研究将避免在这个“干扰空间”内训练视为提升模型泛化能力的关键。P-KAN的思路正是主动压缩这个“干扰空间”。我们通过引导边函数走向低维、结构化的函数空间从根本上减少产生冗余的参数配置可能性。2.2 熵稀疏性与简洁性的天然度量为什么选择熵作为引导的指标在信息论中熵度量了系统的不确定性或混乱程度。对于一个概率分布熵越低分布越集中例如一个one-hot向量熵为0。在信号表示的语境下我们可以将一条边函数s(x)投影到某个正交基空间如傅里叶基后得到一组系数α_q。我们首先计算这些系数绝对值的归一化版本\hat{α}_q |α_q| / Σ_t |α_t|。这形成了一个离散的概率分布。然后我们计算这个分布的香农熵E_R - Σ_q \hat{α}_q log(\hat{α}_q)。这个熵值E_R具有清晰的物理意义熵值低接近0表示绝大部分“能量”集中在少数几个基函数上。例如一个纯正弦波在傅里叶空间的表示只有一个频率分量系数很大其他都为0熵极低。这表明在该空间下函数的表示非常稀疏和高效。熵值高表示系数分布均匀需要很多基函数共同作用才能表示该函数。这通常意味着该函数在该基空间下的表示是低效、复杂的。因此最小化投影熵本质上是在鼓励边函数找到那个能“最稀疏”表示自己的家。这与字典学习中追求稀疏编码Sparse Coding的思想一脉相承也是压缩感知Compressed Sensing的核心。2.3 多空间竞争与自适应选择P-KAN的强大之处在于它不是预先指定一个函数空间比如全部用傅里叶基而是设立一个“候选空间池”。在我们的实现中这个池子通常包括傅里叶空间擅长表示周期性、振荡性信号。切比雪夫多项式空间在区间[-1, 1]上具有最佳逼近性质非常适合平滑函数。贝塞尔函数空间在解决柱对称或球对称的偏微分方程时自然出现。在训练每个边函数时我们同时计算它投影到上述每个空间的熵E_R0, E_R1, E_R2, ...。那么如何决定最终引导它去向哪个空间呢我们采用了一个平滑的决策机制——Softmin函数E* (1 / Σ_k e^{-λ E_Rk}) * Σ_g E_Rg e^{-λ E_Rg}这里λ是一个温度参数。开始时我们设置较小的λ让所有空间都获得相对平等的考虑避免因随机初始化而过早地偏向某个空间。随着训练进行我们逐渐增大λ使得具有最小熵即最合适的空间获得越来越大的权重e^{-λ E_Rk}。最终E*会趋近于最小熵值。这个过程是完全可微的梯度可以通过E*回传到网络参数。这意味着网络中的不同边可以自适应地收敛到不同的最优函数空间。一条边可能发现自己用傅里叶基表示最简洁而另一条边能更适合切比雪夫多项式。这种混合表示的能力是P-KAN相比预先设定单一基函数的变体如Fourier-KAN, Wavelet-KAN的核心优势。2.4 统一的损失函数与训练流程P-KAN的最终训练目标由三部分组成形成一个统一的损失函数Q α * L_recon β * E* γ * L_reg重建损失α * L_recon这是标准任务损失如均方误差MSE确保网络输出与真实标签匹配。没有它模型将失去预测准确性。熵最小化项β * E*这就是我们上面介绍的“引力”项。系数β控制着引导的强度。它不直接改变输出而是塑造边函数的内在形式。边正则化项γ * L_reg可选项。我们可以对边函数本身施加正则例如使用L1范数鼓励函数本身稀疏许多位置值接近0或使用L2范数鼓励平滑。这提供了额外的控制维度。整个训练算法是一个迭代的“探索-确认-固化”过程如Algorithm 1所示初始训练用上述统一损失函数训练一个标准样条KAN。投影与评估周期性地将每条边的当前样条函数投影到各个候选空间用最小二乘法拟合并计算R²分数。函数替换如果某个空间下的拟合R²超过预设阈值例如0.95我们认为该样条已足够接近一个简洁的数学函数如a*sin(bxc)。于是我们“冻结”这条边用这个参数化函数替换掉原来的可训练样条。这大大减少了参数量。微调与后悔机制用固定函数替换边后继续微调网络其他部分。我们监控每条被替换边的“后悔”损失——如果替换后整体损失或该边对损失的贡献异常上升说明此次替换可能不妥。此时我们启动“后悔”机制将该边恢复为可训练的样条让其有机会探索其他函数空间。迭代重复步骤2-4直到网络收敛或达到最大迭代轮次。这个过程确保了最终模型是简洁函数和必要样条的混合体在保持表达能力的同时最大化了解释性和参数效率。实操心得参数β与γ的平衡在实际调参中β熵项权重和γ正则项权重的平衡至关重要。我们的实验发现当β相对γ较小时模型更倾向于保持边的数量即网络结构精简但可能会牺牲一些表示的紧凑性导致更多边保持为样条。反之如果β过大可能会过早、过强地将边“拉”向某个空间即使该空间并不完全合适可能导致训练不稳定或陷入次优解。一个可靠的策略是初期设置较小的β让模型先专注于拟合数据α主导中后期再逐步增大β和γ引导结构化和稀疏化。3. 实现细节与工程实践理论优美但落地不易。将P-KAN从论文公式转化为可运行的代码需要解决一系列工程挑战。我们的实现基于PyTorch并扩展了现有的pykan代码库。3.1 候选函数空间的工程化实现核心模块之一是高效、可微地实现多个函数空间的投影与熵计算。1. 傅里叶空间投影我们利用PyTorch内置的快速傅里叶变换FFT。对于一条边函数我们在其定义域上均匀采样N个点得到离散序列s[n]。执行一维FFT后得到复数频谱S[k]。我们取频谱的幅度|S[k]|作为系数α_k。这里的关键是FFT及其逆变换在PyTorch中是可微分的操作梯度可以顺利回传。为了计算熵我们只考虑低频部分避免频谱对称性和高频噪声对幅度进行归一化后计算香农熵。import torch import torch.fft def compute_fourier_entropy(spline_samples, n_keepNone): spline_samples: Tensor of shape (batch, n_samples) 或 (n_samples,)边函数的采样值 n_keep: 保留的低频分量数量默认为一半 # 确保输入是实数并转换为复数格式进行FFT x spline_samples.to(torch.float32) if x.dim() 1: x x.unsqueeze(0) # 增加batch维度 # 执行FFT X torch.fft.rfft(x, dim-1) # 使用rfft处理实数输入更高效 # 计算幅度谱 amp torch.abs(X) # 归一化幅度谱以形成概率分布 amp_norm amp / (amp.sum(dim-1, keepdimTrue) 1e-8) # 计算香农熵 (避免log(0)) entropy -torch.sum(amp_norm * torch.log(amp_norm 1e-8), dim-1) return entropy.mean() # 返回平均熵2. 切比雪夫多项式空间投影切比雪夫多项式在区间[-1, 1]上正交。我们需要先将样条函数的定义域映射到此区间。然后利用切比雪夫多项式的离散余弦变换DCT性质进行拟合。我们使用了torch-dct包来高效计算DCT系数这些系数直接对应切比雪夫展开的系数。同样计算系数的归一化幅度分布并求熵。3. 贝塞尔函数空间投影贝塞尔函数的计算相对昂贵且不是标准正交基在有限区间上。我们的实现采用了近似策略预先在定义域上计算一组低阶贝塞尔函数如J0, J1, J2的离散采样值构成一个字典矩阵A。然后通过求解最小二乘问题min ||s - Aβ||^2来得到投影系数β。虽然这增加了计算量但对于许多物理问题如涉及振动、圆柱对称的问题贝塞尔空间可能提供极其紧凑的表示。3.2 动态图结构与后悔机制在PyTorch中动态改变网络结构如将可训练的nn.Parameter样条控制点替换为一个固定的函数模块需要小心处理。我们的做法是为每条边维护一个状态标志is_fixed和一个函数指针fixed_func。当决定替换一条边时我们创建一个自定义的nn.Module例如SineFunction其参数振幅、频率、相位从当前样条的最佳拟合中初始化并设置为nn.Parameter。在模型的前向传播中根据is_fixed标志决定是调用可训练的样条计算模块还是调用固定的fixed_func。将该边原有的样条参数从优化器如Adam的参数组中移除并将新函数的参数加入。后悔机制的实现是关键。我们为每条被固定的边维护一个“后悔寄存器”记录替换前后该边对整体损失贡献的变化或直接监控替换后验证集损失的变化。如果在一个时间窗口内损失持续恶化并超过阈值τ_regret我们则保存当前固定函数的参数可能已微调过。重新初始化该边的样条参数。将固定函数模块替换回可训练样条模块。将样条参数重新加入优化器同时可以选择用之前固定函数的输出作为初始目标来“热启动”样条的训练。这个过程模拟了“探索-利用”的权衡允许模型纠正错误的早期决策。3.3 训练技巧与超参数设置基于大量实验我们总结出以下实用技巧分阶段训练不要一开始就启用熵最小化。建议分为三个阶段预热阶段设置β0, γ0只用重建损失L_recon训练一段时间如总轮次的20%让模型先学到一个大致的映射关系。引导阶段逐步将β和γ从0增加到目标值如β0.1, γ0.01同时进行投影评估和函数替换。此阶段占总训练的60%。微调阶段保持β和γ不变或略微降低专注于用已固定的函数和剩余的样条进行最终微调。R²阈值的选择这是决定何时替换样条的关键。设置过高如0.99可能导致很少有边被替换P-KAN退化为标准KAN。设置过低如0.7可能导致边被过早、不准确地替换引入误差并触发后悔机制增加训练开销。我们发现在大多数任务中R²_min设置在0.85~0.95之间是稳健的。采样点数量为了计算投影和熵我们需要对边函数进行离散采样。采样点过少会引入误差影响空间选择的判断过多则增加计算负担。一个经验法则是采样点数至少是候选空间最高阶基函数数量的2-3倍。例如如果考虑傅里叶空间的前10个频率分量采样点应不少于30个。批量处理与效率逐边进行投影和熵计算在大型网络中会成为瓶颈。我们实现了批量投影操作将同一层所有边的采样值堆叠一次性进行FFT或DCT利用GPU的并行能力大幅提升速度。4. 实验结果分析与场景解读我们通过系统的实验来验证P-KAN的有效性主要围绕三个问题1它真的能学到更简洁的函数吗2它在噪声下更鲁棒吗3在实际工业问题中表现如何4.1 消融实验模型复杂度与函数空间有效性我们构造了五类具有代表性的测试函数正弦函数、高斯函数、不连续函数、振荡函数和多项式函数。在随机采样的数据点上进行训练和测试。模型复杂度与表示能力如图2所示随着模型参数量的增加更宽的层、更多的边标准KAN的R²分数表现出较大的波动和不稳定性说明其优化过程可能陷入不同的局部极小或对参数初始化敏感。相比之下P-KAN的R²分数随着模型增大而稳步提升并保持稳定。更重要的是P-KAN达到相同性能所需的有效参数远少于KAN。例如一个边在标准KAN中可能需要23个样条参数20个控制点3阶而P-KAN将其替换为4个参数的正弦函数后参数量减少超过80%但性能无损。这直观地证明了P-KAN减少冗余、提升参数效率的能力。各函数空间的特化与互补图4和图5的结果非常有趣。没有一个函数空间在所有测试函数上都是最优的。傅里叶空间在拟合正弦和振荡函数上表现最佳熵最低。切比雪夫空间在拟合平滑的高斯和多项式函数上更有优势。对于不连续函数所有空间拟合都有挑战但样条空间作为保底和经过组合优化的P-KAN表现相对更好。P-KAN框架的价值在于它不需要我们预先为整个网络或特定任务选择空间。通过熵最小化的竞争机制网络自动为每条边分配合适的空间实现了“让专业的基函数做专业的事”。图5的损失曲线显示P-KAN的最终损失通常位于各个单空间方法的中上游但它省去了手动尝试所有空间组合的巨大成本。雅可比谱分析我们分析了训练过程中模型雅可比矩阵奇异值分布的变化图6。在初始样条空间训练后迭代0奇异值分布范围较窄表明存在大量冗余方向小奇异值。经过几轮投影空间优化和精炼后奇异值的分布范围显著扩大方差增加。这说明冗余的“干扰空间”被压缩参数对输出的影响变得更加显著和分化模型的“有效秩”提高了。4.2 噪声鲁棒性与架构缩放测试我们在1D和2D基准问题上如波动方程、热方程向训练数据添加了不同类型高斯、均匀、椒盐和不同强度SNR从5dB到30dB的噪声并测试了不同深度和宽度的网络架构。抗过拟合能力图8的结果具有说服力。在训练损失上KAN和P-KAN都能很好地拟合数据。然而在验证损失上无论是带噪声的还是干净的P-KAN显著优于KAN。随着噪声水平提高和模型架构变大KAN的验证损失急剧上升表现出严重的过拟合——它记住了训练数据中的噪声模式。而P-KAN的验证损失曲线则平稳得多。这是因为P-KAN学习的不是复杂的、高自由度的样条曲线去“追踪”每一个噪声点而是被引导去学习一个在某个函数空间下简洁的、平滑的数学规律。这种结构性归纳偏置inductive bias起到了天然的正则化作用。训练时间权衡图9显示了P-KAN的代价。由于需要在每个训练步骤或周期进行多空间投影和熵计算P-KAN的训练时间比标准KAN要长尤其是对于大型网络。这是一个典型的“精度-效率”权衡。但在许多应用场景中尤其是科学和工业领域模型的可解释性、鲁棒性和部署后的推理效率得益于参数减少比训练时间更为宝贵。P-KAN将计算成本从推理阶段转移到了训练阶段这是可以接受的。4.3 工业应用案例自动纤维铺放AFP缺陷预测我们将P-KAN应用于一个真实的工业场景——复合材料自动纤维铺放AFP的在线质量监控。如图10所示AFP设备将碳纤维预浸料丝束铺放在模具上过程中一个关键挑战是实时检测铺放缺陷如丝束扭曲、偏移或间隙。问题与数据我们使用安装在铺放头上的激光线扫描仪图10a采集铺放过程中的轮廓数据图11。数据噪声极大由于复合材料反光、树脂斑点等且样本量有限出于成本考虑仅收集了14个铺放样本的数据。我们的任务是构建一个模型根据当前时刻激光扫描的局部图像一个5x5的像素网格预测下一时刻相邻5个位置的扫描高度值图12。这本质上是一个时空序列预测问题。模型与结果我们构建了一个[25, 5]的P-KAN网络输入25维输出5维。将其与结构相同的标准KAN进行对比。模型训练集R²验证集R²平均参数量/边可解释边比例标准KAN0.940.71~230%P-KAN0.910.83~7~65%结果如上表所示。标准KAN在训练集上表现略好但在验证集上泛化能力明显下降R² 0.71显示出过拟合。P-KAN虽然在训练集上分数稍低但在验证集上取得了显著更高的R²0.83证明了其更强的鲁棒性。更重要的是P-KAN网络中约65%的边被成功地替换为了简洁的参数化函数主要是低阶多项式和正弦函数的组合平均每条边参数量从23降至7。这使得工程师可以直接检查这些函数。例如他们可能发现某条边近似于一个线性函数w*x这对应着丝束高度的线性趋势另一条边可能是一个衰减的正弦波a*exp(-b*x)*sin(c*x)这可能对应着铺放头振动引起的周期性误差模式。这种可解释性为在线调整工艺参数、定位缺陷根源提供了直接的依据这是传统“黑箱”CNN或标准KAN难以提供的。避坑指南工业数据应用要点数据标准化至关重要激光扫描数据量纲和范围可能变化很大。务必对每个输入通道进行标准化如减去均值、除以标准差否则梯度爆炸或消失会严重影响训练也会扭曲熵的计算。谨慎选择候选空间在AFP案例中我们最初也加入了贝塞尔空间但发现其拟合效果很差且计算慢。分析后发现数据特征并不具备明显的柱对称性。随后我们移除了贝塞尔空间提高了训练效率。不要盲目追求空间多样性根据数据先验知识选择2-3个最相关的空间即可。处理异常值工业传感器数据常有突发的异常值。在计算投影和熵之前一个简单的中值滤波或盖帽法Clipping预处理可以防止个别异常点主导整个函数表示导致错误的空间选择。5. 常见问题与实战排查在实际复现和应用P-KAN的过程中你可能会遇以下典型问题。这里提供我的排查思路和解决方案。问题1训练不稳定损失出现NaN。可能原因A熵计算中的log(0)。在计算香农熵-Σ p log(p)时如果某个归一化系数p为0会导致log(0)错误。解决在计算熵时给概率值加上一个极小的epsilon如1e-8entropy -torch.sum(p * torch.log(p 1e-8))。可能原因B梯度爆炸。当β值设置过大熵最小化项的梯度可能变得异常大。解决采用分阶段训练策略缓慢增加β。同时使用梯度裁剪torch.nn.utils.clip_grad_norm_来限制梯度范数。问题2模型几乎把所有边都替换成了函数但验证集性能很差。可能原因R²_min阈值设置过低或后悔机制的阈值τ_regret设置过高导致不合适的替换没有被及时纠正。解决调高R²_min例如从0.85调到0.92让替换标准更严格。降低后悔阈值τ_regret让模型更敏感地回退错误替换。检查被替换的函数是否过于简单如常数函数。可以增加一个最小复杂度检查例如要求拟合函数的最高阶系数必须大于某个值。问题3训练速度太慢无法承受。可能原因在每个训练step都进行全网络的多空间投影和熵计算。解决降低评估频率不必每个batch都评估可以每N个epoch例如5或10评估并尝试替换一次。空间池剪枝训练初期使用全部候选空间。中期以后可以统计每条边在各个空间的历史熵值对于某条边如果某个空间的熵持续远高于其他空间可以将其从该边的候选池中移除减少计算量。采样点优化在不严重影响精度的情况下减少用于投影的采样点数量。问题4P-KAN在某个任务上效果不如标准KAN。可能原因该任务的数据关系极其复杂无法被提供的几个候选函数空间有效描述。样条空间的无限逼近能力在此场景下仍是必需的。解决扩充候选空间考虑加入其他基函数如勒让德多项式、小波基等。调整损失权重降低β值减弱“引力”让模型保留更多样条边。接受混合模型P-KAN的目标不是消灭所有样条而是尽可能压缩可解释的部分。一个部分边为函数、部分边为样条的模型可能已经是该任务下最优的可解释性-准确性权衡。P-KAN不是一个一劳永逸的“银弹”而是一个强大的框架。它将领域知识通过选择候选函数空间与数据驱动学习相结合在追求模型性能的同时坚定地走向可解释与高效。从实验到工业场景的跨越证实了其价值。当你面对一个需要理解模型内部逻辑、需要在有限数据下获得鲁棒性、或需要在资源受限环境下部署的机器学习问题时P-KAN值得成为你工具箱中的一个重要选项。它的实现过程虽然比标准训练稍显复杂但带来的模型透明度、鲁棒性和参数效率的提升在许多严肃的应用中是完全值得的。
