引言冲击动力学仿真技术广泛应用于航空航天、国防装备、汽车工程等领域用于研究结构在高速撞击和侵彻过程中的响应规律。随着高端装备复杂程度不断提升大变形、复杂接触等工程问题对仿真精度提出了更高要求提升网格分辨率成为提高计算结果可信度的重要途径。然而当非结构网格规模从千万级扩展至百亿甚至千亿级时传统 CAE 软件架构面临新的挑战。超大规模网格首先带来了索引范围限制问题当全局节点编号、单元编号以及相关数组偏移量超过32位整数约21.47亿表示范围时传统数据结构难以继续扩展。同时海量拓扑数据带来的内存压力、并行计算中的通信开销以及大规模网格构建效率等问题也逐渐成为限制仿真规模提升的关键因素。这些问题无法通过简单增加计算节点解决而需要从软件架构层面对索引体系、数据结构、并行通信以及资源管理机制进行协同优化。HSF-USTR 是基于 HSF 非结构框架构建的面向百亿级非结构网格仿真的高性能计算技术体系。针对超大规模工程仿真需求围绕非结构网格加密、长整型索引适配、大规模并行通信、内存管理优化以及数据结构优化五个方向开展技术研究并在长杆高速侵彻等工程算例中完成规模扩展和性能验证。本文围绕上述技术方向介绍百亿级非结构网格仿真面临的关键挑战以及 HSF-USTR 的技术解决方案。图 1 长杆高速侵彻算例并行加密结果对比注本文聚焦软件架构层面的技术分析不涉及具体工程对象的物理结论讨论。01 百亿级仿真的核心挑战图 2 HSF-USTR 围绕五大技术门槛的系统级优化结构从软件架构角度看百亿级非结构网格仿真并非单纯扩大计算资源规模即可实现而需要解决网格构建、索引管理、并行通信、内存使用以及数据访问效率等方面的系统性问题。1.1 网格加密百亿级网格规模无法依赖传统单机前处理方式一次生成需要采用并行环境下的分布式多层级网格细分方法。在加密过程中各计算进程需要独立完成局部网格细化同时保持新增节点、单元以及拓扑关系的一致性。因此如何在无全局共享内存条件下实现大规模网格构建是百亿级仿真的首要挑战。1.2 长整型索引支持传统有限元程序通常采用32位整数表示节点编号、单元编号以及数组偏移量。当网格规模扩展到百亿级时全局编号和累计偏移量可能超过 231−1导致传统索引体系无法满足需求。然而简单替换为64位整数并非直接可行还会涉及MPI通信类型、第三方库接口兼容以及数据结构内存开销等问题。因此需要设计适用于超大规模网格的长整型索引管理机制。1.3 大规模并行通信随着并行规模增加进程间共享区域和Ghost区域比例逐渐提高通信数据量和同步开销不断增加。同时大规模计算中的并行I/O也会带来额外压力。因此需要优化进程间数据交换机制提高通信效率降低通信开销对整体扩展性能的影响。1.4 内存压力三维非结构网格运行过程中内存不仅包括节点坐标、单元拓扑等基础数据还包含状态变量、接触搜索数据、Ghost区域副本以及MPI通信缓冲区等辅助数据。随着网格规模增加内存容量和访问效率逐渐成为限制大规模仿真的关键因素需要从内存分配、数据布局以及访问方式等方面进行优化。1.5 数据结构优化非结构网格具有复杂的拓扑关系传统通用数据结构在大规模场景下容易产生大量随机访问和查询开销降低数据访问效率。随着网格规模增长需要针对节点、边、面等拓扑关系设计更加高效的数据组织和索引机制提高拓扑构建、查询以及并行计算过程中的数据访问效率。02 HSF-USTR 核心技术体系2.1分布式网格加密框架针对复杂工程仿真中的高分辨率网格需求HSF-USTR设计了多层级分布式网格加密框架从粗网格出发通过并行细分逐步扩展计算模型规模。传统网格加密方法依赖全局数据管理当网格规模扩展至百亿级时单节点内存容量、拓扑构建效率以及数据同步成本成为主要限制因素。为此HSF-USTR将网格细分过程并行化由不同计算进程协同完成局部区域加密并解决无全局共享内存条件下新增拓扑一致性维护问题。图3中为实现“局部加密→全局一致”的分布式网格构建流程HSF-USTR设计了四个关键步骤——图 3 分布式网格加密四步法1. 局部网格加密各计算进程独立完成负责区域内的单元细分、新节点生成以及拓扑关系更新实现局部网格规模扩展。加密过程中复用已有 shared 点/边/面信息减少全局拓扑重构带来的额外开销。2. 共享实体识别基于原有共享区域信息识别加密后新增的共享实体关系避免对全局网格进行遍历提高并行加密效率。3. 拓扑一致性维护并行环境下不同进程可能由于数据处理顺序和浮点计算误差导致共享节点排序不一致。HSF-USTR通过确定性排序机制保证不同进程对共享节点具有一致的拓扑认知。4. 全局编号同步根据节点归属关系和全局偏移信息确定全局编号并通过进程间通信完成同步保证加密后网格编号体系的一致性。此外对于工程仿真中的点、线、面、体集合subset加密过程同样需要同步更新。若仅完成几何网格细分而未同步集合信息可能导致载荷、约束以及接触条件施加位置错误影响最终计算结果。图 4 长杆高速侵彻算例的非结构网格可视化如图4所示基于分布式多层级加密方法长杆高速侵彻算例由粗网格逐步扩展至高分辨率计算模型实现了大规模非结构网格的构建与验证为后续百亿级并行仿真提供网格基础。在长杆高速侵彻算例测试中网格规模由5k扩展至2000万级进程数由8增加至256核时加密耗时由60.21 s降低至2.32 s并行效率达到80.9%验证了分布式网格加密框架在大规模并行环境下的扩展能力。2.2混合长整型索引体系传统索引体系无法满足百亿级网格规模需求简单将所有索引替换为64位长整型虽然能够扩大编号范围但会导致整体数据结构存储开销增加并增加内存访问压力。针对这一问题HSF-USTR设计了混合长整型索引体系根据数据规模和使用场景选择不同索引位宽。对于全局节点/单元编号、全局偏移量以及与整体规模相关的数据采用64位长整型对于局部拓扑关系、临时映射等短范围数据继续采用32位整型图5。图 5 混合长整型索引策略通过按需分配索引位宽避免了“一刀切”64位升级带来的额外内存消耗在满足百亿级网格编号需求的同时保持计算效率。在实现过程中HSF-USTR通过统一索引类型管理机制对 label 和 llabel 进行区分并完成相关数据结构和接口适配保证长整型索引在网格构建、拓扑管理和并行计算过程中的一致性。在算例验证中分别采用32位和64位索引模式进行对比测试计算结果保持一致仿真精度和程序稳定性未发生变化。同时在大规模网格测试中验证了长整型索引对节点编号、单元索引以及相关数据结构管理的支持能力为百亿级非结构网格仿真提供可靠的索引基础。2.3shared/ghost 分层通信机制百亿级非结构网格仿真中随着并行规模不断扩大计算任务逐渐由单进程计算转向大规模协同计算通信开销成为影响扩展效率的重要因素。尤其是在非结构网格中进程边界区域不断增加shared 与 ghost 数据同步、全局一致性维护以及负载均衡等问题逐渐成为并行扩展的主要限制。非结构网格并行划分后各进程既包含独立计算区域也包含与邻域进程相关的shared和ghost区域图6。shared区域用于维护跨进程共享实体一致性ghost区域用于保存邻域计算所需的数据副本。图 6 shared/ghost 分层通信模型传统通信方式通常依赖大量全局同步操作当进程规模增加时通信等待时间和同步开销会快速增长。针对这一问题HSF-USTR设计了shared/ghost 分层通信机制将不同类型的数据交换进行分类管理提高大规模并行环境下的数据交换效率。该通信机制主要包括shared/ghost 分层管理shared 区域用于维护进程间共享实体信息ghost 区域用于保存邻域扩展数据两类通信任务分别管理降低无效数据交换点对点通信优化根据进程邻接关系建立通信路径减少不必要的全局同步通信拓扑复用基于已有邻接关系构建稀疏通信表避免重复生成通信拓扑通信正确性校验提供 checkCommunication() 接口通过全局 ID 构造点/线/面/体场自动检查 shared/ghost 数据交换一致性。通过上述机制HSF-USTR 降低了大规模并行计算中的通信开销提高了超大规模非结构网格计算的扩展能力。在长杆高速侵彻算例测试中图7HSF-USTR完成了百亿级网格规模下的强扩展和弱扩展验证强扩展测试计算规模保持不变进程数由512增加至819216倍强扩展并行效率达到52.19%满足设计指标要求弱扩展测试问题规模与进程数同步增长在512倍扩展条件下整体效率达到60.38%迭代计算效率达到85.67%。(a) 长杆百亿网格强扩展并行效率测试512→8192 进程(b) 长杆百亿网格弱扩展并行效率测试4→2048 进程图 7 长杆算例在百亿网格规模下的并行扩展性测试测试结果表明HSF-USTR通信机制能够有效支撑百亿级非结构网格并行计算在大规模进程扩展条件下保持较好的计算效率和稳定性。2.4 面向百亿网格的内存管理针对百亿级网格计算中的内存瓶颈HSF-USTR从内存分配、数据布局和访问效率三个方面进行优化1. 大规模内存分配优化针对网格初始化阶段大量动态内存申请问题优化内存分配流程减少频繁申请释放造成的额外开销2. 内存布局优化通过重构数据存储方式、减少中间数据冗余提高数据连续性降低内存碎片3. 访问局部性优化优化数据访问顺序提高缓存利用效率降低大规模计算中的内存访问成本。以长杆高速侵彻算例为测试对象在加密4层、23199744个单元、4进程并行条件下优化前程序峰值内存达到19.6 GB。针对初始化阶段内存峰值过高问题通过重构网格拓扑构建流程、优化数据结构以及减少临时内存分配等措施优化后峰值内存降低至约11.5 GB较优化前减少约40%。测试结果表明图8内存管理优化有效降低了百亿级非结构网格计算中的资源压力提高了程序运行稳定性为超大规模工程仿真提供了内存支撑。(a) 优化前峰值 19.6 GB(b) 优化后峰值 11.5 GB图 8 长杆高速侵彻算例内存峰值优化结果2.5 数据结构优化百亿级非结构网格中拓扑数据规模随着网格细化快速增长传统基于链式结构或通用容器的数据组织方式会引入大量随机访问和动态内存操作导致网格初始化、拓扑搜索和并行构建阶段效率下降。针对上述问题HSF-USTR 对非结构网格容器数据结构进行了优化主要包括1. 高效拓扑查找结构传统 face/edge 映射依赖通用 map 结构在大规模网格下存在哈希冲突内存离散访问cache 利用率低等问题。采用 Robin Hood Hashing 替代原有 face/edge map通过降低探测距离差异提高大规模拓扑元素插入和查询效率。2. 数据访问流程优化针对网格初始化阶段大量重复查找操作梳理拓扑建立流程避免重计算优化排序策略减少无效数据访问提高整体初始化效率。图 9非结构网格容器数据结构优化结果03 正确性与工程验证3.1 加密后的正确性验证百亿级仿真最大的挑战并不只是“算得动”而是在规模扩大后仍然保持计算可信。对于非结构网格而言网格数量提升、并行进程增加以及拓扑关系复杂化都可能引入新的数值风险。例如并行加密过程中节点编号不一致通信过程中共享数据不同步或者网格尺度变化导致物理响应偏离真实趋势。因此大规模计算框架需要建立从网格、拓扑到物理结果的完整验证链路。HSF-USTR采用“结构一致性 物理一致性”的双重验证方式——结构一致性通过检查并行环境下节点编号、共享区域通信以及网格集合信息保证分布式网格操作前后拓扑关系正确物理一致性通过不同加密层级下的计算结果对比验证网格分辨率提升是否带来稳定的物理响应收敛。以长杆高速侵彻算例为例测试覆盖L0L4多个加密层级。随着网格逐步细化等效应力和等效塑性应变曲线整体趋势保持一致并在高加密层级逐渐收敛。相比粗网格高分辨率模型能够更加准确地捕捉冲击区域的应力集中和局部破坏演化。如图10所示随着网格规模增加关键物理响应并未出现非物理波动而是表现出“加密—细节增强—结果稳定”的演化规律验证了分布式加密框架和求解流程在工程尺度下的可靠性。(a) ElementSet1等效应力L0-L4(b) ElementSet1等效塑性应变L0-L4(c) ElementSet2等效应力L0-L4dElementSet2等效塑性应变L0-L4图 10 加密层级收敛性验证ElementSet1/2 的等效应力与等效塑性应变时程曲线随 L0 → L4 加密层级呈现稳定收敛趋势。3.2 百亿级长杆高速侵彻算例验证单纯提升网格数量并不能代表大规模仿真的成功真正困难的是让整个计算链路——网格生成、数据组织、并行通信和物理求解——同时适应规模增长。在完成核心模块优化后HSF-USTR选择长杆高速侵彻这一典型极端工况进行系统验证。测试过程从千万级网格逐步扩展至百亿级规模在千万级网格加密阶段进程规模由8扩展至256加密时间由60.21 s降低至2.32 s在百亿级长杆算例中模型由2319万网格逐步扩展至118.8亿网格最高使用8192个进程。最终测试结果表明框架能够在百亿级规模下保持稳定运行16倍强扩展效率达到52.19%大规模扩展测试整体效率达到60.38%。更重要的是计算规模提升并没有牺牲物理分辨能力。百亿级模型单元特征长度达到毫米到厘米级范围可以进一步解析侵彻过程中的应力传播、材料失效以及碎片演化过程。如图11所示随着网格分辨率提升冲击区域、破坏带以及碎裂形态逐渐清晰高分辨率模型能够更加完整地描述复杂动态响应过程。(a) 长杆算例 L0 等效应力云图(b) 长杆算例 L1 等效应力云图(c) 长杆算例 L2 等效应力云图(d) 长杆算例 L3 等效应力云图(e) 长杆算例 L4 等效应力云图图 11 长杆算例不同加密层级等效应力云图L0-L4高加密层级下碎片与剥落形态被更充分分辨结果趋于收敛。04 结语百亿级非结构网格仿真的难点并不只是将计算规模扩大而是在规模增长过程中保持数据可管理、通信可扩展、计算可信赖。当网格规模从千万级迈向百亿级时传统仿真软件依赖的索引体系、内存组织方式和并行模型都会面临新的挑战。HSF-USTR围绕这些关键问题从软件架构层面对非结构网格计算流程进行了重新设计。通过分布式网格加密突破超大规模模型构建限制通过混合长整型索引解决百亿级编号管理问题通过shared/ghost分层通信提升并行扩展能力并结合内存与数据结构优化提高大规模计算过程中的资源利用效率。在长杆高速侵彻算例中HSF-USTR完成了从千万级到百亿级网格规模的连续扩展验证最高支持118.8亿网格计算并在大规模并行环境下保持稳定的计算效率。同时通过网格收敛、串并一致性以及物理场对比验证证明了超大规模计算结果的可靠性。从工程应用角度看百亿级仿真的实现并非依赖单一算法突破而是网格、数据、通信和计算多个层面的协同优化。HSF-USTR的实践表明面向未来复杂装备和多物理场工程问题需要从底层软件架构出发构建可扩展的高性能仿真平台为更大规模、更高精度的工程计算提供基础支撑。