论文题目Damage imaging in structural health monitoring with fine-tuned conditional diffusion model微调条件扩散模型在结构健康监测中的损伤成像期刊Mechanical Systems and Signal Processing摘要图像成像在结构健康监测(SHM)系统中起着至关重要的作用以实现快速有效的损伤评估。延迟总和(DAS)波束形成是损伤成像无损检测中广泛使用的一种波束形成算法但其有效性往往受到超声波换能器阵列稀疏和基于导波的方法在疲劳载荷下难以检测大于波长的渐进性分层的影响。虽然X射线成像提供了渐进分层的详细评估但由于需要中断疲劳加载循环和其高昂的操作成本其应用仍然受到限制。为此我们提出了一种新的损伤成像框架该框架使用微调的SHM系统的条件扩散模型(DI-CDM)。利用扩散模型强大的图像生成能力通过将来自超声稀疏阵列数据的DAS波束形成图像与在复合材料结构疲劳加载循环期间捕获的X射线图像相结合对框架进行了微调。该方法可以生成损伤图像揭示疲劳加载过程中分层尺寸的变化过程。该框架通过数值模拟和来自NASA复合材料结构数据集的实验数据进行了验证通过在SHM应用中应用扩散模型来实现快速、高分辨率的损伤成像展示了其潜力和有效性。用扩散模型为结构健康监测画出损伤DI-CDM框架详解背景飞机复合材料结构的健康监测难题现代航空航天结构大量采用碳纤维增强复合材料CFRP这类材料在长期疲劳载荷下容易产生分层delamination损伤。分层一旦扩展到临界尺寸可能导致灾难性结构失效。因此如何实时、准确地监测分层的形态与扩展是结构健康监测SHM领域的核心挑战之一。目前工程界常用两类方法来应对这一问题超声导波 稀疏阵列成像利用压电传感器PZT激励和接收超声导波通过延迟求和DAS波束成形算法重建损伤图像。优点是可以永久集成到结构中进行原位监测成本低缺点是稀疏阵列分辨率有限且当分层区域大于波长时DAS成像结果往往模糊、定位不准。X射线成像能清晰呈现分层的真实形态是目前的金标准。但每次X射线扫描都需要中断疲劳加载操作成本极高无法做到连续监测。这两类方法各有优缺点能否把它们的优势结合起来这正是本文提出的DI-CDM 框架要解决的问题。现有方法的局限为什么DAS和GAN都不够用DAS波束成形的瓶颈DAS成像的基本原理是对每个像素位置将所有接收通道的信号按时间飞行ToF补偿后求和得到该位置的图像强度【图1——DAS波束成形原理示意图展示损伤点反射波到达不同接收器的ToF差异及时延补偿机制】这一方法在物理上直观清晰但在实验中暴露出明显短板当分层区域逐渐扩大并超过波长时入射导波被分层直接反射无法穿透到达下方接收器阵列导致DAS图像失去损伤区域的真实形态信息稀疏阵列本文NASA实验中仅使用上下各6个PZT的空间覆盖有限造成成像伪影严重。从实验数据表4可以清楚地看到DAS在40,000个疲劳循环内IoU值始终低于0.09几乎无法有效追踪分层扩展。【表4——实验结果定量对比表展示DAS vs DI-CDM在IoU和SNR上的差异】为什么不用GAN生成对抗网络GAN近年来被广泛用于SHM数据增强但其在损伤成像任务上有两大固有缺陷训练不稳定对抗损失容易导致梯度消失或模式崩溃mode collapse训练过程难以收敛功能局限现有SHM领域的GAN工作几乎都停留在数据增强层面直接用GAN生成可控的、物理一致的损伤图像仍是空白。相比之下去噪扩散概率模型DDPM已被证明在图像生成任务上全面超越GAN具有更稳定的训练过程和更高的生成质量。这正是本文选择扩散模型作为核心骨干的原因。核心方法DI-CDM框架扩散模型的基本原理扩散模型通过两个马尔可夫链实现图像生成前向过程逐步向原始数据添加高斯噪声经过 T 步后变成纯噪声。关键性质是任意时刻的噪声数据可以从直接计算反向过程训练一个神经网络从纯噪声出发逐步预测并去除噪声最终重建干净图像。训练目标是最小化预测噪声与真实噪声之间的均方误差条件扩散模型CDM在此基础上引入条件输入 y使去噪过程受到外部信息的引导DI-CDM的整体架构【图2——DI-CDM完整框架图包含(a)整体pipeline和(b)UNet中的多模态融合机制】DI-CDM框架的数据流如下训练阶段Fine-tuning将X射线图像真实分层形态输入预训练VAE编码器提取潜在特征向逐步添加噪声得到前向扩散过程将DAS成像结果通过CLIP-ViT图像编码器转为图像嵌入将疲劳循环次数通过CLIP文本编码器转为文本嵌入两者共同构成条件输入 y在UNet中条件输入 y 通过交叉注意力机制与X射线特征融合引导网络学习从噪声到损伤图像的反向映射仅更新UNet参数通过LoRA编码器和解码器保持冻结。推理阶段Inference输入DAS图像 疲劳循环次数无需X射线过程从纯高斯噪声出发经50步DDIM去噪输出高分辨率损伤图像输出像素值范围为[0,1]的损伤概率热图多模态融合交叉注意力机制UNet中的Transformer块是实现多模态融合的核心。其交叉注意力操作定义为其中Query矩阵来自X射线特征Key和Value矩阵来自超声条件特征 $y_t$。这一设计使得模型能够动态地根据超声数据信息来校准X射线特征的注意力权重实现两种模态的深度融合。【图3——UNet中多模态融合机制详细示意图包含Transformer块结构和交叉注意力层的逐步计算过程】LoRA高效微调直接对拥有数十亿参数的预训练扩散模型Stable Diffusion v2总参数量约8.68亿进行全量微调计算代价极高。本文采用低秩适应LoRA技术冻结原有权重矩阵将权重更新矩阵分解为两个低秩矩阵的乘积【图4——LoRA微调与常规微调的对比示意图】不同秩的LoRA可训练参数量对比如下UNet总参数量868,443,332【表2——不同LoRA rank对应的可训练参数量及占比】本文选择rank 32此时仅需训练约500万参数占总参数量的0.58%在参数效率和模型表现之间取得平衡。训练在KU Leuven高性能计算集群上使用2×NVIDIA A100 80GB GPU完成损失曲线在约700个训练步后收敛。【图10——LoRA微调训练过程包含(a)损失曲线和(b)学习率变化曲线】实验设置NASA复合材料疲劳数据集数据来源实验数据来自斯坦福结构与复合材料实验室与NASA艾姆斯研究中心预测卓越中心PCoE联合开展的CFRP疲劳老化测试是公开可用的基准数据集。试件与测试配置材料碳纤维增强复合材料CFRP每层厚度0.132 mm加载方式拉-拉疲劳正弦载荷频率5 Hz载荷比0.14三种铺层方案见表1L1用于测试L2用于训练L3用于训练【表1——材料属性与铺层信息汇总表】传感器配置每个试件表面贴附两组各6个PZT传感器SMART层形成稀疏阵列上方6个为激励器下方6个为接收器共36条激励-接收路径每条路径在150–450 kHz范围内7个频率激励。成像区域152像素宽× 178像素高对应实际尺寸约152 mm × 178 mm。测试节点在疲劳循环1、10k、20k、30k、40k处周期性暂停同步采集PZT数据与X射线图像。【图5——实验装置图和成像区域示意图含PZT阵列布局和X射线扫描设置】评估指标交并比IoU量化预测损伤区域与X射线真值区域的重合程度值越高越好其中 $P$ 为模型输出中像素强度≥0.5的区域为X射线图像中的真实分层区域。信噪比SNR量化损伤区域相对于背景噪声的清晰度单位dB值越高越好数值仿真验证在进行真实实验验证之前作者首先在Abaqus/Explicit有限元环境中建立了复合材料板的数值模型以验证框架的有效性。仿真设置有限元网格C3D8R单元基础网格1 mm分层附近加密至0.5 mm激励信号250 kHz汉宁调制正弦脉冲模拟了5种递增的分层尺寸Sim#1–5对应真实分层像素数分别为450、800、1800、3200、5000像素。【图6——数值仿真设置包含(a)Abaqus模型、(b)分层区域放大图、(c)激励信号波形和(d)导波传播云图】群速度估计DAS成像的关键前提是准确估计导波群速度。考虑到试件较小15.24 cm × 25.4 cm反对称A₀模式速度过低、难以分辨损伤反射本文选用对称S₀模式进行成像激励频率250 kHz。通过带通滤波230–270 kHz和Hilbert变换提取S₀波首达时间在0°至360°共13个方向上估计群速度并进行曲线拟合得到角度依赖的速度场。【图7——S₀波群速度估计流程图】【图8——L1、L2、L3三个试件的数值仿真群速度雷达图】仿真成像结果对比【图9——数值仿真成像结果(a) DAS成像结果(b) 各仿真案例的真值二值图Sim#1–5】【图11——DI-CDM仿真成像结果(a) 生成的损伤图像(b) 对应真值二值图】从图9(a)可以看出DAS成像结果中高强度区域从中心向边缘扩散但与真实分层形状差异较大IoU极低最高仅0.1239。这是由于上下水平稀疏阵列的对称布置导致成像存在固有伪影。DI-CDM的成像结果图11(a)则能够更好地聚焦于分层区域随着条件输入权重增大非分层区域的干扰逐渐减少。定量对比结果如下【表3——数值仿真定量对比表DAS vs DI-CDMIoU↑ SNR↑】DI-CDM在全部5个仿真案例中IoU均优于DASSNR方面在前3个案例Sim#1–3也明显占优Sim#3的IoU从DAS的0.0731跃升至0.6211提升约8.5倍。实验验证NASA真实疲劳数据DAS成像实验结果【图12——L2试件第1疲劳循环的DAS成像结果(a) 6个激励器各自的成像结果(b) 平均融合后的综合成像结果】图12展示了L2试件在250 kHz激励下6个激励器分别生成的DAS图像及其平均结果。可以注意到激励器1的图像在下边缘出现强烈的边界反射伪影。将6张图像平均后综合成像结果作为DI-CDM的条件输入。DI-CDM实验成像结果【图13——L1试件疲劳循环1至40,000的成像结果对比(a) DAS成像(b) DI-CDM成像(c) X射线真值图像】图13是本文最核心的实验结果图。从中可以清晰看出三者的差异DAS成像图13a在第1循环时勉强能指示损伤大致位置但从10k循环起随着分层扩大DAS图像完全失去对分层形态的追踪能力——入射导波被大面积分层直接反射无法穿透到达下方接收器。DI-CDM成像图13b从第10k循环开始损伤区域黑色虚线圆圈标注的中左区域逐渐清晰显现并随循环次数增加持续扩展与X射线真值图呈现出良好的一致性趋势。X射线真值图13c清晰显示从细小裂纹到大面积分层的完整演变过程真值分层像素数从156第1循环增长到194340k循环。【表4——实验结果定量对比表DAS vs DI-CDM各疲劳循环节点的IoU和SNR】量化数据表4进一步证实了这一趋势IoUDI-CDM在所有测试节点的IoU均约为DAS的3倍。特别是在40k循环时DI-CDM达到0.3340而DAS仅为0.0883。从10k到40k循环DI-CDM的IoU呈现从0.1322到0.3340的上升趋势能够部分捕捉X射线图像所呈现的分层扩展规律。SNRDAS的SNR在10k循环后持续低于7 dB而DI-CDM在所有测试节点的SNR均超过6.33 dB且从10k到40k循环呈现出稳步提升的趋势6.74 → 7.81 dB说明其在背景抑制和损伤区域对比度方面表现更佳。值得注意的是以上更优的结果是在推理阶段完全不使用X射线的条件下取得的体现了DI-CDM在实际工程应用中的显著优势。方法局限与未来展望作者在论文中客观指出了当前框架的若干局限IoU绝对值仍有提升空间实验中最高IoU为0.3340尚未达到X射线级别的精度。这一方面受限于稀疏传感器阵列的DAS初始成像质量另一方面也与训练数据量较少仅L2和L3两个试件有关。条件输入敏感性分析不足DAS图像作为条件输入的权重设置对生成结果有显著影响需要更系统的敏感性分析。跨结构泛化能力待验证目前框架基于同类试件同材料、相近铺层的训练和测试在不同结构类型间的迁移能力尚未探索。面向未来作者提出了三个重要的拓展方向多模态传感器融合集成声发射、应变片、数字图像相关DIC等多源传感器数据进一步提升损伤评估精度可控扩散模型输入优化深入探索条件引导机制使模型在不同工况下均能生成物理一致的损伤图像领域特定微调推广将LoRA微调策略推广至其他SHM场景和工程结构类型。总结本文提出的DI-CDM框架是将生成式AI特别是扩散模型引入结构健康监测损伤成像领域的一次开创性尝试。其核心贡献可以概括为三点创新点具体内容模型选择首次将LoRA微调条件扩散模型应用于SHM损伤图像生成多模态融合通过交叉注意力机制融合超声DAS图像与X射线图像实现互补信息整合实用性提升推理阶段无需X射线直接从DAS数据生成高分辨率损伤图像在NASA公开数据集上的验证表明DI-CDM能够有效追踪疲劳载荷下复合材料分层的渐进扩展IoU指标约为传统DAS成像的3倍为未来低成本、高精度的原位结构健康监测提供了新思路。