CANN/GE dflow FunctionPp类SetCompileConfig方法

# SetCompileConfig（FunctionPp类）

【免费下载链接】geGE（Graph Engine）是面向昇腾的图编译器和执行器，提供了计算图优化、多流并行、内存复用和模型下沉等技术手段，加速模型执行效率，减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力，并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge

产品支持情况

• Atlas A3 训练系列产品/Atlas A3 推理系列产品：支持
• Atlas A2 推理系列产品/Atlas A2 训练系列产品：支持

函数功能

设置FunctionPp的json配置文件名字和路径，该配置文件用于将FunctionPp和UDF进行映射。

返回设置好的FunctionPp。

函数原型

FunctionPp &SetCompileConfig(const char_t *json_file_path)

参数说明

FunctionPp的json配置文件示例如下。

``` {"func_list":[{"func_name":"Add", "inputs_index":[1,0], "outputs_index":[0]}],"input_num":2,"output_num":1,"target_bin":"libadd.so","workspace":"./","cmakelist_path":"CMakeLists.txt","compiler": "./cpu_compile.json","running_resources_info":[{"type":"cpu","num":2},{"type":"memory","num":100}],"heavy_load":false} ```

表1FunctionPp的json配置文件

compiler的json配置内容示例和各字段解释如下。

``` {"compiler":[{"resource_type":"X86","toolchain":"/usr/bin/g++"},{"resource_type":"Aarch","toolchain":"/usr/bin/g++"},{"resource_type":"Ascend","toolchain":"/usr/local/Ascend/hcc"}]} ```

表2compiler的json配置说明

buf_cfg的json配置内容示例如下所示。

``` "buf_cfg":[{"total_size":2097152,"blk_size":256,"max_buf_size":8192,"page_type":"normal"}, // 1.total:2M max:8K {"total_size":10485760,"blk_size":4096,"max_buf_size":8388608,"page_type":"normal"}, // 2.total:10M max:8M {"total_size":2097152,"blk_size":256,"max_buf_size":8192,"page_type":"huge"}, // 3.total:2M max:8K {"total_size":10485760,"blk_size":8192,"max_buf_size":8388608,"page_type":"huge"}, // 4.total:10M max:8M {"total_size":69206016,"blk_size":8192,"max_buf_size":67108864,"page_type":"huge"}] // 5.total:66M max:64M ```

说明：
- 如上样例共配置了5个内存档位，前两条针对普通内存，后三条针对大页内存。
- 使用该配置初始化内存管理模块后，如果进程申请8M大页内存，驱动会根据第4条配置项，生成并管理一个10M内存池，从其中申请8M内存。
- 如本进程需要再次申请1M大页内存，由于第三条配置项中一次最大只能申请8K，因此仍然会落到第4条配置项对应的内存池中，此时上一次申请10M只使用了8M，剩余的内存仍大于1M，因此会在上一次生成的10M内存池中申请1M内存供本次使用。

默认档位如下：

表3buf_cfg的json配置说明

• CMakeLists文件

  DataFlow UDF编译模块解析异构环境的resource.json资源配置和cpu_compiler配置，根据resource.json资源配置类型匹配选择cpu_compiler中指定的交叉编译工具，如果用户未指定cpu_compiler.json配置文件或者cpu_compiler.json未配置该类型的编译工具，则取环境上默认的编译工具进行编译。不同资源类型的编译工具名称和路径如下。${INSTALL_DIR}请替换为CANN软件安装后文件存储路径。若安装的Ascend-cann-toolkit软件包，以root安装举例，则安装后文件存储路径为：/usr/local/Ascend/cann。

  • X86和Aarch场景下：g++

  • Ascend场景下：${INSTALL_DIR}/toolkit/toolchain/hcc/bin/aarch64-target-linux-gnu-g++

    用户的源代码工程要遵从如下规则：

  • 用户提供的源码工程目录下要包括所有执行代码和依赖库源码。

  • 用户要配置好FunctionPp执行代码和依赖库的编译脚本。

  • 编译脚本要使用RELEASE_DIR变量作为最终输出目录，如果有依赖的so文件，用户需要把依赖的so文件拷贝到该路径下。

  • 编译脚本要使用RESOURCE_TYPE变量判断资源类型，如果当前UDF不支持某一个资源类型，需要将对应的注释放开。

  • CMakeLists sample如下：

    ``` cmake_minimum_required(VERSION 3.5) PROJECT(UDF) if ("x${RESOURCE_TYPE}" STREQUAL "xAscend") message(STATUS "ascend compiler enter") # if unsupported current resource type, please uncomment the next line. # message(FATAL_ERROR "Unsupport compile Ascend target!") elseif("x${RESOURCE_TYPE}" STREQUAL "xAarch") message(STATUS "aarch64 compiler enter") # if unsupported current resource type, please uncomment the next line. # message(FATAL_ERROR "Unsupport compile Aarch64 target!") else() message(STATUS "x86 compiler enter") # if unsupported current resource type, please uncomment the next line. # message(FATAL_ERROR "Unsupport compile X86 target!") endif() if(DEFINED ENV{ASCEND_HOME_PATH}) set(ASCEND_HOME_PATH $ENV{ASCEND_HOME_PATH}) message(STATUS "Read ASCEND_HOME_PATH from ENV: ${ASCEND_HOME_PATH}") else() message(FATAL_ERROR "ASCEND_HOME_PATH is not set, please export ASCEND_HOME_PATH based on actual installation path.") endif() # set dynamic library output path set(CMAKE_LIBRARY_OUTPUT_DIRECTORY ${PROJECT_BINARY_DIR}/${RELEASE_DIR}) # set static library output path set(CMAKE_ARCHIVE_OUTPUT_DIRECTORY ${PROJECT_BINARY_DIR}/${RELEASE_DIR}) message(STATUS "CMAKE_LIBRARY_OUTPUT_DIRECTORY= ${CMAKE_LIBRARY_OUTPUT_DIRECTORY}") set(INC_DIR "${ASCEND_HOME_PATH}/include/flow_func") file(GLOB SRC_LIST "*.cpp") # Specify cross compiler add_definitions(-D_GLIBCXX_USE_CXX11_ABI=0) # set c++ compiler set(CMAKE_CXX_COMPILER ${TOOLCHAIN}) # =========================UDF so compile============================ # check if SRC_LIST is exist if("x${SRC_LIST}" STREQUAL "x") message(UDF "=========no source file=============") add_custom_target(${UDF_TARGET_LIB} COMMAND echo "no source to make lib${UDF_TARGET_LIB}.so") return(0) endif() add_library(${UDF_TARGET_LIB} SHARED ${SRC_LIST} ) target_include_directories(${UDF_TARGET_LIB} PRIVATE ${INC_DIR} ) target_compile_options(${UDF_TARGET_LIB} PRIVATE -O2 -std=c++11 -ftrapv -fstack-protector-all -fPIC ) if ("x${RESOURCE_TYPE}" STREQUAL "xAscend") target_link_libraries(${UDF_TARGET_LIB} PRIVATE -Wl,--whole-archive ${ASCEND_HOME_PATH}/devlib/device/libflow_func.so -Wl,--no-whole-archive ) # If there have any dependent so, please release the following comments and copy dependent so to ${PROJECT_BINARY_DIR}/${RELEASE_DIR} # [[execute_process( COMMAND libdepend_xxx.so ${PROJECT_BINARY_DIR}/${RELEASE_DIR} )]] elseif("x${RESOURCE_TYPE}" STREQUAL "xAarch") target_link_libraries(${UDF_TARGET_LIB} PRIVATE -Wl,--whole-archive ${ASCEND_HOME_PATH}/devlib/linux/aarch64/libflow_func.so -Wl,--no-whole-archive ) # If there have any dependent so, please release the following comments and copy dependent so to ${PROJECT_BINARY_DIR}/${RELEASE_DIR} # [[execute_process( COMMAND cp libdepend_xxx.so ${PROJECT_BINARY_DIR}/${RELEASE_DIR} )]] else() target_link_libraries(${UDF_TARGET_LIB} PRIVATE -Wl,--whole-archive ${ASCEND_HOME_PATH}/devlib/linux/x86_64/libflow_func.so -Wl,--no-whole-archive ) # If there have any dependent so, please release the following comments and copy dependent so to ${PROJECT_BINARY_DIR}/${RELEASE_DIR} # [[execute_process( COMMAND cp libdepend_xxx.so ${PROJECT_BINARY_DIR}/${RELEASE_DIR} )]] endif() ```

返回值

返回设置好的FunctionPp。

异常处理

无。

约束说明

无。

【免费下载链接】geGE（Graph Engine）是面向昇腾的图编译器和执行器，提供了计算图优化、多流并行、内存复用和模型下沉等技术手段，加速模型执行效率，减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力，并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge