openEuler HPC Runner高级技巧：离线环境下的应用部署与管理

openEuler HPC Runner高级技巧：离线环境下的应用部署与管理

【免费下载链接】hpcrunneropenEuler High Performance Computing(HPC) Runner, provides universal portal for hpc users and developers.项目地址: https://gitcode.com/openeuler/hpcrunner

前往项目官网免费下载：https://ar.openeuler.org/ar/

openEuler HPC Runner是面向高性能计算用户和开发者的通用门户，提供了一站式的HPC应用部署、编译、运行和性能调优解决方案。在没有网络连接的离线环境中，如何高效部署和管理HPC应用是许多用户面临的挑战。本文将分享openEuler HPC Runner在离线环境下的应用部署与管理高级技巧，帮助用户轻松应对无网络环境下的HPC应用部署难题。

离线环境部署的核心挑战与解决方案

在离线环境中部署HPC应用主要面临三大挑战：依赖包获取困难、配置环境复杂、部署流程繁琐。openEuler HPC Runner通过创新的设计和工具链，为这些挑战提供了有效的解决方案。

依赖包离线获取与管理

openEuler HPC Runner提供了强大的依赖包管理机制，支持在有网络环境下提前下载所需依赖包，并在离线环境中进行本地安装。通过设置JARVIS_PROXY环境变量，可以轻松实现依赖包的代理下载，如：

export JARVIS_PROXY=https://your-proxy-server

下载的依赖包会被存储在本地目录中，在离线环境下可直接使用这些本地包进行安装。例如，在./package/ctffind/4.1.14/clang/install.sh脚本中，通过以下命令从本地或代理服务器下载依赖包：

. ${DOWNLOAD_TOOL} -u $JARVIS_PROXY/grigoriefflab.umassmed.edu/system/tdf?path=ctffind-4.1.14.tar.gz\&file=1\&type=node\&id=26

环境变量自动配置

openEuler HPC Runner能够自动生成环境变量配置文件，简化离线环境下的环境配置。通过./src/envService.py模块，系统可以根据用户的硬件架构和应用需求，自动生成并加载所需的环境变量，确保应用在离线环境中能够正常运行。

一键式部署与运行

借助openEuler HPC Runner的"贾维斯"部署调优助手，用户可以实现HPC应用的一键部署、编译和运行。贾维斯助手集成了丰富的部署经验和调优策略，能够显著降低部署成本，提高调优效率。

图1：HPC部署调优助手：贾维斯，支持一键部署、编译、运行、性能采集和Benchmark

离线环境部署的详细步骤

步骤1：提前准备离线资源包

在有网络的环境中，使用openEuler HPC Runner的下载工具提前下载所需的HPC应用和依赖包。可以通过以下命令克隆项目仓库并下载资源：

git clone https://gitcode.com/openeuler/hpcrunner cd hpcrunner ./package/common/download.sh --all

下载的资源包将存储在./package目录下的对应应用文件夹中，如./package/ctffind/4.1.14/、./package/bedtools/2.28.0/等。

步骤2：配置本地安装路径

在离线环境中，需要将应用安装到指定的本地路径。openEuler HPC Runner支持通过--relocate参数指定安装路径，例如在./package/kml/1.7.0/bisheng/install.sh脚本中：

rpm --force --nodeps -ivh --relocate /usr/local/kml=$1 --badreloc=$1 boostkit-kml-${kml_version}-1.aarch64.rpm

其中$1为用户指定的本地安装路径，确保应用能够在离线环境中被正确安装和引用。

步骤3：运行离线部署脚本

openEuler HPC Runner为每个HPC应用提供了专门的离线部署脚本，位于./package目录下的应用子目录中。以安装HDF5为例，运行以下命令进行离线部署：

cd ./package/hdf5/1.14.3/ ./install.sh /path/to/local/install

脚本将自动使用本地资源包进行安装，无需连接网络。

步骤4：验证部署结果

部署完成后，可以通过运行基准测试来验证应用是否正常工作。openEuler HPC Runner提供了丰富的基准测试工具，如./benchmark/stream/run.sh、./benchmark/hpl/run.sh等。以Stream基准测试为例：

cd ./benchmark/stream/ ./run.sh

测试结果将显示应用在离线环境下的性能表现，帮助用户确认部署是否成功。

离线环境下的应用性能优化

在离线环境中，应用性能优化同样重要。openEuler HPC Runner提供了多种优化工具和策略，帮助用户在无网络环境下提升HPC应用性能。

多线程性能优化

openEuler HPC Runner支持多线程优化，通过调整线程数和任务分配，提高应用在多核处理器上的性能。以下是FlowResistance多线程测试结果，展示了在不同架构下的性能对比：

图2：FlowResistance多线程测试结果，显示arm64、arm64未优化和x86架构下的求解器总时间对比

硬件架构适配

openEuler HPC Runner针对不同的硬件架构（如arm64和x86）提供了专门的优化方案。通过./src/machineService.py模块，系统可以自动检测硬件架构，并应用相应的优化策略，确保应用在不同架构下都能发挥最佳性能。

性能数据采集与分析

在离线环境中，openEuler HPC Runner的性能采集工具可以帮助用户收集应用运行时的性能数据。通过./src/perfService.py模块，用户可以一键采集性能数据，并生成详细的性能分析报告，为进一步优化提供依据。

离线环境部署的最佳实践

定期更新离线资源包

建议在有网络的环境下定期更新离线资源包，确保包含最新的应用版本和安全补丁。可以通过以下命令更新资源包：

./package/common/download.sh --update

建立本地资源库

对于经常使用的HPC应用和依赖包，建议建立本地资源库，方便在多个离线环境中共享和复用资源。可以将资源库存储在移动硬盘或内部服务器中，提高资源利用率。

详细记录部署过程

在离线环境部署过程中，详细记录每一步操作和配置，以便在出现问题时快速定位和解决。openEuler HPC Runner的日志功能可以帮助用户记录部署过程，日志文件位于./logs目录下。

openEuler HPC Runner的未来展望

openEuler HPC Runner正在不断发展和完善，未来将提供更多针对离线环境的高级功能。根据项目路线图，下一阶段将集成更多HPC领域的性能调优工具和核心算法，支持智能化部署和性能分析，进一步提升离线环境下的应用部署和管理效率。

图3：openEuler HPC Runner项目路线图，展示1.0起步阶段和2.0增强阶段的主要功能和目标

通过本文介绍的高级技巧，用户可以在离线环境下轻松部署和管理HPC应用，充分发挥openEuler HPC Runner的强大功能。无论是新手还是有经验的HPC用户，都能从中获得实用的指导和帮助，让离线环境下的HPC应用部署不再困难。

【免费下载链接】hpcrunneropenEuler High Performance Computing(HPC) Runner, provides universal portal for hpc users and developers.项目地址: https://gitcode.com/openeuler/hpcrunner