模型转换是昇腾落地的第一道坎。不管你用 PyTorch、TensorFlow 还是 MindSpore最终都要变成 Ascend 的.om模型才能在 NPU 上跑。这篇文章讲清楚模型转换的完整流程、常见问题和优化技巧。为什么需要模型转换昇腾 NPU 不能直接运行 PyTorch 的.pt模型。原因有两个硬件指令集不同PyTorch 编译成的是 CUDA 指令昇腾用的是达芬奇架构的指令运行时不同PyTorch 用的是 CUDA 运行时昇腾用的是 AscendCL 运行时所以要把模型翻译成昇腾能认识的形式。模型转换的三条路路径 1PyTorch → ONNX → ATC → OM最常用 路径 2PyTorch → TorchScript → ATC → OM 路径 3TensorFlow/Paddle → ATC → OM推荐路径 1PyTorch → ONNX → ATC → OM。这是官方推荐的方式兼容性最好。路径 1PyTorch → ONNX → ATC → OM这是最常用的路径分两步完成。步骤 1PyTorch → ONNXimporttorchimporttorch.nnasnn# 定义一个简单的 Transformer 模型classSimpleTransformer(nn.Module):def__init__(self,vocab_size50000,hidden_dim768,num_heads12):super().__init__()self.embeddingnn.Embedding(vocab_size,hidden_dim)self.attentionnn.MultiheadAttention(hidden_dim,num_heads,batch_firstTrue)self.fcnn.Linear(hidden_dim,vocab_size)defforward(self,input_ids,attention_maskNone):xself.embedding(input_ids)attn_out,_self.attention(x,x,x,attn_maskattention_mask)logitsself.fc(attn_out)returnlogits# 实例化模型modelSimpleTransformer()model.eval()# 导出 ONNXdummy_inputtorch.randint(0,50000,(1,512))torch.onnx.export(model,dummy_input,transformer.onnx,input_names[input_ids,attention_mask],output_names[logits],dynamic_axes{input_ids:{0:batch,1:seq_len},attention_mask:{0:batch,1:seq_len},logits:{0:batch,1:seq_len,2:vocab}},opset_version14,do_constant_foldingTrue)步骤 2ONNX → OM使用 ATC 编译器# 基础转换命令atc--modeltransformer.onnx\--outputtransformer\--framework5\--soc_versionAscend910\--input_shapeinput_ids:[1,512]\--input_shapeattention_mask:[1,512]\--loginfoATC 核心参数详解参数说明常见值--model输入模型路径model.onnx--output输出模型路径不含扩展名model--framework输入框架类型5ONNX, 3TensorFlow, 0Caffe--soc_version目标芯片Ascend910,Ascend310--input_shape输入张量形状input_ids:[1,512]--precision_mode精度模式allow_fp16,force_fp16,allow_mixed_precision--dynamic_batch动态 batch1,2,4,8--dynamic_dims动态维度16,32,64动态 batch 示例# 支持 batch1,2,4,8atc--modeltransformer.onnx\--outputtransformer\--framework5\--soc_versionAscend910\--input_shapeinput_ids:[1,512]\--input_shapeattention_mask:[1,512]\--dynamic_batch1,2,4,8\--loginfo动态序列长度示例# 支持 seq_len16,32,64,128,256,512atc--modeltransformer.onnx\--outputtransformer\--framework5\--soc_versionAscend910\--input_shapeinput_ids:[1,512]\--input_shapeattention_mask:[1,512]\--dynamic_dims16,32,64,128,256,512\--loginfo常见转换问题与解决方案问题 1动态算子不支持# 错误ONNX 导出生成了动态输出形状# 现象ATC 报错 Input shape not fully specified# 解决 1在导出时指定静态形状dummy_inputtorch.randint(0,50000,(1,512))# 不要让 shape 变成动态的# 解决 2使用 opset_version13 并指定动态轴torch.onnx.export(model,dummy_input,model.onnx,dynamic_axes{input_ids:{1:seq_len}})# 然后在 ATC 中指定 --dynamic_dims问题 2算子不被支持# 现象ATC 报错 Not supported operator: xxx# 原因这个算子在 CANN 中没有实现# 解决 1替换成 CANN 支持的算子# 比如把 torch.nn.GELU 换成自定义的 GELU 算子# 解决 2使用 ASCFAscend Common Framework自定义算子# 参考https://atomgit.com/cann/ascf# 解决 3分模块转换classModelWithCustomOp(nn.Module):def__init__(self):super().__init__()self.encoderEncoder()# 能转换的部分self.custom_opCustomOp()# 不能转换的部分defforward(self,x):xself.encoder(x)xself.custom_op(x)# 这部分单独处理returnx# 分别转换能转换的部分问题 3精度下降# 现象转换后模型精度下降# 解决 1使用混合精度atc--modelmodel.onnx \--outputmodel \--framework5\--soc_versionAscend910 \--precision_modeallow_mixed_precision# 解决 2强制 FP32atc--modelmodel.onnx \--outputmodel \--framework5\--soc_versionAscend910 \--precision_modeforce_fp16# 解决 3开启算子级精度配置# 在模型代码中指定某些算子用 FP32classModel(nn.Module):torch.amp.autocast(device_typenpu,dtypetorch.float32)defforward(self,x):returnself.layer_norm(x)问题 4内存溢出# 现象ATC 转换过程中 OOM# 解决 1减小 batch size--input_shapeinput_ids:[1,512]# 解决 2开启模型优化atc--modelmodel.onnx\--outputmodel\--framework5\--soc_versionAscend910\--buffer_optimizeoptimize_for_memory# 解决 3使用图层融合atc--modelmodel.onnx\--outputmodel\--framework5\--soc_versionAscend910\--fusion_switch_filefusion_switch.cfg进阶自定义算子转换如果模型中有 CANN 不支持的算子需要自定义算子然后注册到 ATC。步骤 1编写 Ascend C 算子// custom_gelu.cpp#includeacl/acl.hexternCaclStatusCustomGeluCompute(void*inputs[],void*outputs[]){half*input(half*)inputs[0];half*output(half*)outputs[0];int32_tlength512;// 实际从 shape 获取for(inti0;ilength;i){floatx(float)input[i];floatx3x*x*x;floatttanh(0.7978845608f*(x0.044715f*x3));output[i](half)(0.5f*x*(1.0ft));}returnACL_SUCCESS;}步骤 2编译算子ascendc-ocustom_gelu.o-ccustom_gelu.cpp-targetai_coreascend910 ld-olibcustom_gelu.so custom_gelu.o -L${ASCEND_TOOLKIT_HOME}/lib -lstdc-lm步骤 3注册算子# 在模型转换时指定自定义算子路径atc--modelmodel.onnx \--outputmodel \--framework5\--soc_versionAscend910 \--op_select_implmodehigh_performance \--optypelist_for_implmodeCustomGelu:CustomGeluProc \--customop_dynamic_batch_strategy1\--insert_op_confcustom_op.cfg模型验证转换完成后验证模型正确性importnumpyasnpimportacl# 初始化 ACLacl.init()device_id0acl.rt.set_device(device_id)# 加载 OM 模型model_idacl.mdl.load_from_file(transformer.om)# 准备输入input_datanp.random.randint(0,50000,(1,512)).astype(np.int32)input_bufferacl.util.numpy_to_vec(input_data)# 执行推理outputsacl.mdl.execute(model_id,[input_buffer])# 验证输出print(outputs[0].shape)print(outputs[0])完整示例DeepSeek 模型转换# deepseek_convert.pyimporttorchfromtransformersimportDeepSeekForCausalLM# 1. 加载 PyTorch 模型print(Loading PyTorch model...)modelDeepSeekForCausalLM.from_pretrained(deepseek-ai/DeepSeek-7B)model.eval()# 2. 导出 ONNXprint(Exporting to ONNX...)dummy_inputtorch.randint(0,32000,(1,2048))torch.onnx.export(model,dummy_input,deepseek7b.onnx,input_names[input_ids],output_names[logits],dynamic_axes{input_ids:{0:batch,1:seq_len}},opset_version14,do_constant_foldingTrue)print(ONNX export done!)# 3. 转换 OMatc--modeldeepseek7b.onnx\--outputdeepseek7b\--framework5\--soc_versionAscend910\--input_shapeinput_ids:[1,2048]\--dynamic_batch1,2,4,8\--precision_modeallow_mixed_precision\--buffer_optimizeoptimize_for_memory\--loginfoechoOM conversion done! Output: deepseek7b.om相关资料cann-recipes-infer推理配方含模型转换示例 → https://atomgit.com/cann/cann-recipes-infercann-samples算子样例含自定义算子 → https://atomgit.com/cann/cann-samplesasc-devkitAscend C 开发 → https://atomgit.com/cann/asc-devkitcann-learning-hub学习中心 → https://atomgit.com/cann/cann-learning-hub
