先劝退一波如果你是来找“调个包、跑个demo、发个paper”的轻松路径那 PINNs 可能要让你失望了。这玩意儿不是典型的深度学习任务它更像“数值分析 深度学习”的杂交体训练起来既要有调神经网络的耐心又要有分析偏微分方程的直觉。但这恰恰是它最有意思的地方——你不需要生成昂贵的仿真数据靠物理定律本身就能训练网络这种思路在科学计算和工程反演里相当有想象力。这篇博文我就以“用 PINNs 解基本的偏微分方程”为切入点带你从原理推导到代码实现再到我踩过的坑完整走一遍。我自己是从传统有限差分/有限元那边转过来的所以文中我会频繁拿这两种方法和 PINNs 作对比帮助有数值计算基础、但刚接触神经网络的读者更快定位。给你一个速览这篇内容适合两类人。第一类是做传统 CFD、固体力学、热传导的工程师/研究生想看看神经网络能不能当一个新的 PDE 求解器第二类是熟悉深度学习框架但没碰过连续介质方程的人想了解怎么把物理约束塞进训练目标。如果你两边都不熟也没关系我会从损失函数怎么设计、网络怎么选、数据集怎么组织开始讲尽量做到每一步都有据可依。1. PINNs 的基本原理把物理方程变成神经网络的损失函数1.1 从拟合数据到拟合物理规律传统深度学习做的是“输入到输出”的映射拟合比如输入图像、输出类别本质是学习一个函数 f(x)y并且依赖大量标注好的样本。而 PINNs 换了个思路我们用神经网络来表示偏微分方程的解 u(x)其中 x 是时空坐标u 就是该坐标下的物理量温度、速度、位移等然后通过损失函数强制这个 u 满足物理规律。这里的物理规律不是以标签形式出现的而是以方程残差的形式出现的。什么意思以最简单的热传导方程为例。∂u/∂t - α·∂²u/∂x² 0假设神经网络输出的解是 u_net(x,t)我们知道精确解 u_true 必须满足上面的偏微分方程。那么只要把 u_net 代入这个方程如果网络输出是正确解方程左边就应该等于 0如果不等于 0这个差值就叫 PDE 残差记作 r(x,t)。我们的目标就是通过优化让这个残差尽可能接近 0这样在方程约束的整个时空域上网络输出就逼近真实解了。这就是 PINNs 的核心不需要传统意义的数据集标签而是把偏微分方程本身当成监督信号。这也是为什么它叫 Physics-Informed物理信息直接嵌入到了损失函数里而不是事后校正。1.2 损失函数的三座大山一个标准的 PINNs 损失函数通常由三部分组成L L_IC L_BC L_PDEL_PDE 是内部点上的物理方程残差L_IC 是初始条件损失L_BC 是边界条件损失。从权重比例的角度看前两项和最后一项是相互制衡的——纯数据项约束边界和初值纯物理项约束内部行为。具体怎么算我们下文以稳态泊松方程为例展开。这里先建立直觉这个损失函数不是一次性样本全扔进去训练就完事而是内部点在每个训练 step 都重新采样边界面也要保证足够多的采样否则训练出来的解在边界附近会失真。1.3 自动微分才是幕后支撑这里必须提一下自动微分Automatic DifferentiationAD。传统数值方法有限差分、有限元要计算导数要么用网格离散逼近有限差分要么用弱形式积分有限元。而 PINNs 依赖深度学习框架的自动微分直接对网络输入求导。PyTorch 里一句torch.autograd.grad(outputs, inputs, grad_outputs)就能对输入坐标求导高阶导数也只要连续嵌套即可。这个能力彻底改变了我们处理微分方程的方式——你不需要像有限差分那样担心网格步长截断误差导数的精度直接由网络表达能力和训练充分程度决定。代价是什么计算图的内存开销很大尤其是二阶导数这是后期性能优化的主要瓶颈。2. 用逻辑推演挑方程为什么要用一个有解析解的简单方程2.1 教学案例的选择标准在我实际跑 PINNs 之前很多人建议我直接上流体Navier-Stokes或波动方程。我全部劝退原因是这类复杂方程一旦训练失败你根本分不清是代码 bug、网络结构问题还是方程本身的挑战性太高。所以我强烈建议第一次玩 PINNs务必选一个已知精确解的简单方程比如一维泊松方程。它的形式很简单、解是光滑函数、能找到解析解做对比而且边界条件类型相对直观。一维泊松方程标准形式d²u/dx² f(x)x ∈ [0, 1]这里 u 是待求解的物理场f 是源项。我选一个非常温柔的例子f(x) -π²·sin(πx)精确解就是 u_exact sin(πx)边界条件 u(0)0u(1)0。这个例子好在哪儿首先解是光滑的神经网络理论上没有“硬要拟合间断”的痛苦其次解析解简单方便每个 epoch 后直接算 L2 误差对比。等你把这个例子跑通并且理解每个 loss 的含义再上复杂方程才有底气。2.2 为什么 PINNs 对简单问题反而不一定赢这里我要泼一盆冷水对于这种一维简单线性椭圆方程传统有限元、有限差分在毫秒级就能达到高精度PINNs 在速度和精度上都讨不到便宜。那为什么还要学因为 PINNs 的优势不在“标准正问题”而在于三类场景一是方程形式复杂或求解域不规则传统网格生成极难二是反问题从部分观测数据反推方程系数三是高维或参数化方程一个网络要同时求解一族解。理解这一点你就不会盲目迷信 PINNs也会更清楚它适合干什么。我的建议是入门阶段就把 PINNs 当做一个“带物理约束的回归模型”来学在简单问题上验证机制的可行性但心里要清楚它离取代工业级求解器还早得很。3. 数据集的构建与采样策略PINNs 的数据集其实长这样3.1 内部点、边界点、初始点做传统深度学习时数据集是固定的图片读进来、预处理、分 batch。PINNs 则完全不同数据集大多是“实时生成”的。每个训练 step 我们都会在计算域内用某种采样方法生成一组新的坐标点这些点也就是训练样本。这些样本分为三类内部点domain points、边界点boundary points、初始点initial points。对于稳态问题没有初始点只有前两类。每次迭代网络在这些点上计算输出并把对应的 PDE 残差和边界残差反馈到损失函数中。这里有个容易被忽略的问题边界点是真实数据约束而内部点完全依赖 PDE 残差。如果边界点采样过少网络会“自由发挥”导致边界附近解发生偏移。如果内部点太少PDE 残差的约束不够解在中间区域可能偏离。所以采样密度和分布策略非常重要。3.2 采样策略随机采样还是拉丁超立方第一版我偷懒直接用torch.rand均匀随机采样内部点60% 的训练时间在边界附近出现非物理振荡。后来换了拉丁超立方Latin Hypercube SamplingLHS边界附近的振荡大幅减少。原因很好理解拉丁超立方能让采样点在每个维度上覆盖更均匀不会出现随机聚团的问题。PyTorch 自带的torch.rand在高维空间会有比较明显的分布不均问题。这里提供一个简单的 LHS 实现逻辑把每个维度划分为 N 个等概率区间从每个区间随机取一个代表点再随机配对组合成 N 个样本点。如果你实在不想自己写也可以用pyDOE或sobol_seq这样的库。我个人的习惯是一维问题直接用torch.linspace加少量抖动效果就很稳二维及以上才需要认真考虑 LHS 或 Sobol 序列。3.3 不同点集是不是要分 batch我的做法是内部点、边界点分别占据独立的 batch。每个 step 里同时采样出N_f个内部点和N_b个边界点分别计算损失后再加权合并。这个设计的优势是可以灵活调整权重比如初期边界 loss 占比大一点让网络先学会边界条件后期再把 PDE 残差权重提上去逼迫网络内部满足物理方程。这里有个所谓“学习率退火”Learning Rate Annealing的思想展露雏形通过动态调整不同损失项的权重让训练更稳定。后面在训练技巧小节我会仔细展开。4. 实操完整跑通一维泊松方程 PINNs4.1 网络结构选型和初始化很多人一上来就堆多层 MLP我建议三到四层全连接就够然后多做对比实验。以我最终定型的结构为例输入维度 1就是坐标 x隐藏层 4 层每层 50 个神经元激活函数用 tanh。输出维度 1解 u。为什么用 tanh因为 PINNs 的损失函数里有高阶导数tanh 是光滑无限可微的而且它的二阶导数也比较稳定。ReLU 这类分段线性激活函数虽然收敛快但二阶导恒等于 0用在二阶 PDE 上等于直接把 PDE 残差打没了完全不可用。初始化上我踩过一个坑默认的 Xavier 初始化在 PINNs 上容易导致初始残差过大梯度一上来就爆炸。我的做法是在第一层加一个线性缩放把输入映射到 [-1,1]然后直接用默认初始化就行。实际上对于 tanhXavier 初始化 坐标归一化到 [-1,1] 配合得比较好。4.2 损失函数详拆PDE 残差具体怎么写这一小节是整个 PINNs 的门面我直接上伪代码的数学表达式。假设网络输出 u_net(x)我们要构造三部分损失。L_PDE 1/N_f · Σ (d²u_net/dx² - f(x))²L_BC 1/N_b · Σ [(u_net(x0) - 0)² (u_net(x1) - 0)²]L_total L_PDE w_BC · L_BC实际操作中d²u_net/dx² 是通过自动微分实现的。这里我提供核心 PyTorch 代码片段import torch import torch.nn as nn class PINN(nn.Module): def __init__(self): super().__init__() self.net nn.Sequential( nn.Linear(1, 50), nn.Tanh(), nn.Linear(50, 50), nn.Tanh(), nn.Linear(50, 50), nn.Tanh(), nn.Linear(50, 50), nn.Tanh(), nn.Linear(50, 1) ) def forward(self, x): return self.net(x) def pde_residual(model, x_f): x_f x_f.clone().requires_grad_(True).float() u model(x_f) # 一阶导 u_x torch.autograd.grad(u, x_f, grad_outputstorch.ones_like(u), create_graphTrue)[0] # 二阶导 u_xx torch.autograd.grad(u_x, x_f, grad_outputstorch.ones_like(u_x), create_graphTrue)[0] # 源项 f(x) -pi^2 * sin(pi * x) f -torch.pi**2 * torch.sin(torch.pi * x_f) residual u_xx - f return (residual**2).mean()这一段代码是 PINNs 的核心中的核心。注意create_graphTrue这一行因为我们要对二阶导继续反向传播优化网络参数必须保留计算图。4.3 训练循环与完整可复现配置下面我给出一个完整可跑的简单循环框架从数据采样到参数更新尽量避免多余的封装方便你看清楚每一步在干什么import torch.optim as optim model PINN() optimizer optim.Adam(model.parameters(), lr1e-3) # 固定的边界点 x_boundary torch.tensor([[0.0], [1.0]], dtypetorch.float32) u_boundary torch.tensor([[0.0], [0.0]], dtypetorch.float32) # 内部点采样数量 N_f 2000 N_b 50 for epoch in range(5000): # 每次迭代重新采样内部点 x_f torch.rand(N_f, 1) * 1.0 # [0,1] # 边界损失 u_b_pred model(x_boundary) loss_bc ((u_b_pred - u_boundary)**2).mean() # PDE 残差损失 loss_pde pde_residual(model, x_f) # 加权合并 loss loss_pde 50.0 * loss_bc optimizer.zero_grad() loss.backward() optimizer.step() if epoch % 500 0: print(fEpoch {epoch}, Loss_PDE: {loss_pde.item():.6f}, Loss_BC: {loss_bc.item():.6f})训练结束后你可以在 [0,1] 上均匀取点像下面这样对比解析解with torch.no_grad(): x_test torch.linspace(0, 1, 200).reshape(-1, 1) u_pred model(x_test).reshape(-1) u_exact torch.sin(torch.pi * x_test).reshape(-1) l2_error torch.norm(u_pred - u_exact) / torch.norm(u_exact) print(f相对 L2 误差: {l2_error:.4f})我实测下来训练 3000 步左右相对 L2 误差可以降到 1e-3 量级5000 步后能稳定在 5e-4 上下。注意这只是一个一维光滑问题这个误差水平并不算惊艳——但作为机制验证足够了。4.4 选择边界权重的直觉上面代码里我把边界 loss 权重设成了 50。为什么是 50 而不是 1 或 1000我做过一组对比实验权重1 时边界误差一直降不下去解在两端明显上翘权重1000 时边界倒是准了但内部 PDE 残差长期偏高解的形状整体偏平。权重50 左右边界和内部能保持相对较好的平衡。这背后有个朴素道理边界点数量远少于内部点50 vs 2000如果不加权边界约束的信息量被内部点淹没了。你可以把每个边界点看成“一票顶几十票”的硬约束这正是物理先验的强引导作用。5. 训练细节与优化技巧残差修正与损失平衡5.1 训练初期怎么快速收敛用 Adam 固定学习率 1e-3 是最省心的组合但训练后期会碰到一个问题loss 降到一个平台后就非常缓慢了。这时候我一般会在 3000 步左右切换到 L-BFGS。L-BFGS 是个拟牛顿法优化器在 PINNs 这种“小规模数据集、高精度要求”的任务上意外地好用。它不需要手动调学习率而且能利用二阶信息收敛速度比 Adam 后期快很多。我第一次用 L-BFGS 直接把 L2 误差从 5e-4 拉到 1e-5 量级相当惊艳。具体切换方式也很简单PyTorch 中直接用optim.LBFGS(model.parameters(), lr1)然后需要包一个closure函数def closure(): optimizer.zero_grad() u_b_pred model(x_boundary) loss_bc ((u_b_pred - u_boundary)**2).mean() loss_pde pde_residual(model, x_f) loss loss_pde 50.0 * loss_bc loss.backward() return loss optimizer.step(closure)但 L-BFGS 对采样点比较敏感如果你每个 step 都重新采样内部点L-BFGS 的梯度估计会不平稳所以用 L-BFGS 时我建议先把内部点固定住跑几十步稳定后再重新采样。5.2 “残差修正”到底改的是什么这里我想专门聊一下“PINNs 残差修正”这个热词。很多人以为残差修正是指训练过程中调整网络权重其实更常见的意思有两层。第一层是损失函数层面的残差修正比如给 PDE 残差配一个自适应权重让训练早期侧重边界中后期侧重内部。这就是我之前提到的学习率退火思路的雏形可以用梯度统计信息自动调整每个损失项的权重。第二层是预测结果层面的修正训练完一个 PINNs 后在部分高置信点上做一个后处理校准比如用少量已知解的数据点如边界或实验测点做一个浅层修正网络。这在某些反问题场景非常实用因为 PINNs 训练出的解在局部区域可能有偏差用测量数据修正比重新训练整个网络快得多。如果你是在做工程应用而不是论文复现我强烈建议在“全网训练”之后加第二个轻量修正阶段。我自己在一次热传导反问题中只用了 20 个实测测温点做残差修正反演精度就提升了一个数量级。这比盲目堆网络层数和训练步数划算得多。5.3 到底要不要分阶段训练我试过两种策略一是从一开始就让边界损失和 PDE 损失同步优化二是分段训练先只训边界和初始条件固定住后再训 PDE 残差。实测结论分段训练在复杂问题上有用在简单问题上反而拖慢收敛。原因是简单问题的边界和 PDE 两者相容性很好同步优化不会打架。但复杂问题比如流体里网络如果先拟合了边界的某个形状再被 PDE 残差强行拉回就会来回振荡训练特别不稳定。所以我的建议是先用同步训练跑 100 轮看 loss 曲线如果发现边界 loss 和 PDE loss 交替上升像跷跷板一样再切换成分段训练。6. PINNs 的常见翻车现场与排错指南6.1 问题一loss 下降但解明显错误这种“假收敛”我遇到太多次了。loss 可能在千分之一量级但画出来的解曲线完全不是想象的样子。原因往往是这三点内部点采样太少、网络容量不足、或微分计算有误。优先检查自动微分。比如我早期写高阶导时忘了加create_graphTrue梯度传不回去loss 看起来在下降实际上 PDE 残差根本没回传到网络参数纯属表面功夫。这个 bug 不打印每个分项 loss 根本发现不了。另一个排查手段是把 PDE 残差的分布打印出来画个直方图。如果残差集中在某个区域特别大那大概率是采样密度不够或网络在局部欠拟合。6.2 问题二边界附近出现“振铃”现象边界附近的非物理振荡尤其是用随机采样时特别明显。解决方式我刚才提过换 LHS 或者 Sobol 序列。还有一种思路是加大边界点数量甚至直接把边界点重复采样几次强行强化。另外一个容易被忽略的设置是激活函数。如果你换成了 Swish 或 GELU它们虽然有平滑性但某些情况下二阶导的传播不稳定振铃更严重。我目前用下来tanh 在大多数二阶 PDE 问题上是最稳妥的选择。6.3 问题三训练后期 loss 平台期过长这个问题的常见原因有学习率过低、优化器退化为随机梯度噪声主导、以及采样点更新太频繁。我的典型做法是先固定采样点上 L-BFGS 精调如果还卡住就检查梯度范数是不是出现梯度消失。PINNs 有个特有现象由于残差项涉及高阶导数网络越深梯度在反向传播时就越容易消失。我试过一个 8 层网络不仅在性能上没有提升反而训练到后期几乎学不动。所以如果你遇到平台期不一定要加深网络可以尝试增加宽度、换优化器、或调整采样密度。6.4 常见问题速查表现象可能原因解决措施loss 下降但解不对微分计算有误 / 采样不足打印分项 loss加大内部点数量边界附近振荡随机采样分布不均改 LHS 或 Sobol 序列边界 loss 居高不下边界权重太小增大边界损失权重或边界点数量PDE loss 降不下去网络容量不足 / 学习率过大加宽度、换 L-BFGS训练后期平台期优化器效率低切到 L-BFGS 固定采样点精调梯度消失网络过深减少层数、增加单层宽度7. 如何进阶PINNs 的适用边界与扩展方向7.1 什么时候别用 PINNs我必须把这个说清楚如果你只需要在常规几何、简单边界条件下解一次 PDE用传统有限元/有限差分/谱方法又快又准。我的习惯是“能用传统方法解决的问题绝对不上 PINNs”。这不是因为 PINNs 不行而是成本和收益不成正比。PINNs 真正的价值在于反问题、参数化问题、高维问题以及正问题里边界非常复杂或存在未知物理机制的场景。在这些场景里你没法轻易生成网格或格式良好的矩阵但神经网络天然擅长处理“端到端”的非结构化映射。7.2 PINNs 后续可以怎么扩展如果你已经跑通本文这个最小案例下一步可以从几个方向扩展。第一个方向是把方程换成含时间项的非线性 PDE比如 Burgers 方程或 KdV 方程此时需要额外采样初始点并且输入维度变成 (x,t)采样策略也要设计成时空联合采样不同时间层需要覆盖完整空间域。第二个方向是做反问题比如通过部分观测点反推扩散系数 α。做法很简单把 α 设为一个可训练参数训练时不仅优化网络权重还优化 αloss 里再加上观测数据项。第三个方向是参数化 PDE即网络输入除了 (x,t) 还加入参数 μ训练一次网络就能预测不同参数下的解。这个方向相当实用相当于在离线阶段做一次昂贵训练在线阶段做实时推理。我个人的建议是先把本文的一维案例反复吃透尤其是残差计算、采样策略、损失权重这三块再去碰上述扩展方向。很多人在复杂模型上翻车追根溯源还是这三个基本功没扎实。7.3 学习 PINNs 的长期心态说实话PINNs 目前还不是一个“开箱即用”的工业级工具论文里漂亮的结果背后往往藏着大量调参和计算资源。但你别因此就否定它的价值。任何一个新范式在早期都是这样的概念亮眼工程欠打磨。我在实际项目里更多是把 PINNs 当作一个“物理先验增强的回归器”来用——不是去和有限元抢精度而是用来做快速探索、参数反演、以及在传统方法难以建模的地方提供一个可微的替代方案。带着这个定位去学你会少很多焦虑。最后分享一个我自己的习惯每解锁一个新的 PINNs 变体比如加入注意力机制、用 CNN 处理高维输入、或者做多保真度融合我都会先回到这个一维泊松方程上做 sanity check。基础模型永远是你排查复杂问题时的标尺。别小看这个“入门级玩具”它能在你后面被各种论文坑得焦头烂额时帮你找回直觉。