CANN/asc-devkit Max函数SIMD API文档

# Max

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言，原生支持C和C++标准规范，主要由类库和语言扩展层构成，提供多层级API，满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit

产品支持情况

  • Ascend 950PR/Ascend 950DT：支持
  • Atlas A3 训练系列产品/Atlas A3 推理系列产品：支持
  • Atlas A2 训练系列产品/Atlas A2 推理系列产品：支持
  • Atlas 200I/500 A2 推理产品：支持
  • Atlas 推理系列产品AI Core：支持
  • Atlas 推理系列产品Vector Core：不支持
  • Atlas 训练系列产品：支持
  • Kirin X90：支持
  • Kirin 9030：支持

功能说明

头文件路径为："basic_api/kernel_operator_vec_binary_intf.h"。

Max属于双目矢量类计算接口，负责将输入的两个tensor按元素求最大值。计算公式如下：

$dst_i = max(src0_i, src1_i)$

函数原型

  • tensor前n个数据连续计算

    template <typename T> __aicore__ inline void Max(const LocalTensor<T>& dst, const LocalTensor<T>& src0, const LocalTensor<T>& src1, const int32_t& count)

  • tensor高维切分计算

    • mask逐bit模式

      template <typename T, bool isSetMask = true> __aicore__ inline void Max(const LocalTensor<T>& dst, const LocalTensor<T>& src0, const LocalTensor<T>& src1, uint64_t mask[], const uint8_t repeatTime, const BinaryRepeatParams& repeatParams)

    • mask连续模式

      template <typename T, bool isSetMask = true> __aicore__ inline void Max(const LocalTensor<T>& dst, const LocalTensor<T>& src0, const LocalTensor<T>& src1, uint64_t mask, const uint8_t repeatTime, const BinaryRepeatParams& repeatParams)

参数说明

表1模板参数说明

参数名描述
T操作数数据类型。
isSetMask是否在接口内部设置mask。
• true，表示在接口内部设置mask。
• false，表示在接口外部设置mask，开发者需要使用SetVectorMask接口设置mask值。这种模式下，接口入参中的mask值设置为占位符MASK_PLACEHOLDER，用于占位，无实际含义。

表2参数说明

参数名输入/输出描述
dst输出目的操作数。
类型为LocalTensor，支持的TPosition为VECIN/VECCALC/VECOUT。
地址对齐约束参考通用地址对齐约束。
src0、src1输入源操作数。
类型为LocalTensor，支持的TPosition为VECIN/VECCALC/VECOUT。
地址对齐约束参考通用地址对齐约束。
两个源操作数的数据类型需要与目的操作数保持一致。
count输入参与计算的元素个数。关于该参数的具体说明请参考连续计算。
mask[]/mask输入mask用于控制每次迭代内参与计算的元素。详细设置参考掩码。
repeatTime输入重复迭代次数。矢量计算单元，每次读取连续的256Bytes数据进行计算，为完成对输入数据的处理，必须通过多次迭代（repeat）才能完成所有数据的读取与计算。repeatTime表示迭代的次数。
关于该参数的具体说明请参考高维切分。
repeatParams输入控制操作数地址步长的参数。BinaryRepeatParams类型，包含操作数相邻迭代间相同DataBlock的地址步长，操作数同一迭代内不同DataBlock的地址步长等参数。
相邻迭代间的地址步长参数说明请参考repeatStride；同一迭代内DataBlock的地址步长参数说明请参考dataBlockStride。

数据类型

  • 针对Ascend 950PR/Ascend 950DT，T支持的数据类型为：int8_t、uint8_t、int16_t、uint16_t、half、bfloat16_t、int32_t、uint32_t、float、int64_t、uint64_t。数据类型int8_t、uint8_t、int64_t、uint64_t仅支持tensor前n个数据计算接口。
  • 针对Atlas A3 训练系列产品/Atlas A3 推理系列产品，T支持的数据类型为：int16_t、half、int32_t、float。
  • 针对Atlas A2 训练系列产品/Atlas A2 推理系列产品，T支持的数据类型为：int16_t、half、int32_t、float。
  • 针对Atlas 200I/500 A2 推理产品，T支持的数据类型为：int16_t、half、int32_t、float。
  • 针对Atlas 推理系列产品AI Core，T支持的数据类型为：int16_t、half、int32_t、float。
  • 针对Atlas 训练系列产品，T支持的数据类型为：half、int32_t、float。
  • 针对Kirin X90，T支持的数据类型为：int16_t、half、int32_t、float。
  • 针对Kirin 9030，T支持的数据类型为：int16_t、half、int32_t、float。

返回值说明

无

约束说明

  • 操作数地址对齐要求请参见通用地址对齐约束。
  • 操作数地址重叠约束请参考通用地址重叠约束。
  • 当参数count或repeatTime取值为0时，该接口的行为如下：
    • 针对如下型号，当参数count或repeatTime取值为0时，不会执行计算操作，不会对目的操作数进行写入，该接口将被视为NOP（空操作）。
      • Atlas A3 训练系列产品/Atlas A3 推理系列产品
      • Atlas A2 训练系列产品/Atlas A2 推理系列产品
    • 针对Ascend 950PR/Ascend 950DT：该接口通过VF调用Reg矢量计算API实现兼容，当参数count或repeatTime取值为0时，软仿行为不保证该接口被视为NOP（空操作）。
  • 对UB空间的占用说明。针对Ascend 950PR/Ascend 950DT：
    • tensor高维切分计算占用8KB Unified Buffer。
    • tensor前n个数据连续计算不涉及8KB Unified Buffer的占用。

调用示例

  • tensor高维切分计算样例-mask连续模式

    uint64_t mask = 128; // repeatTime = 4, 128 elements one repeat, 512 elements total. // dstBlkStride, src0BlkStride, src1BlkStride = 1, no gap between blocks in one repeat. // dstRepStride, src0RepStride, src1RepStride = 8, no gap between repeats. AscendC::Max(dstLocal, src0Local, src1Local, mask, 4, { 1, 1, 1, 8, 8, 8 });

  • tensor高维切分计算样例-mask逐bit模式

    uint64_t mask[2] = { UINT64_MAX, UINT64_MAX }; // repeatTime = 4, 128 elements one repeat, 512 elements total. // dstBlkStride, src0BlkStride, src1BlkStride = 1, no gap between blocks in one repeat. // dstRepStride, src0RepStride, src1RepStride = 8, no gap between repeats. AscendC::Max(dstLocal, src0Local, src1Local, mask, 4, { 1, 1, 1, 8, 8, 8 });

  • tensor前n个数据计算接口样例

    AscendC::Max(dstLocal, src0Local, src1Local, 512);

结果示例如下：

输入数据src0Local：[1 2 3 ... 512] 输入数据src1Local：[513 512 511 ... 2] 输出数据dstLocal：[513 512 511 ... 512]

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言，原生支持C和C++标准规范，主要由类库和语言扩展层构成，提供多层级API，满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考