乐高积木与算子工厂的奇妙相遇想象一下你是一个乐高积木工厂的设计师。你的任务不是为每个孩子造一个成品城堡而是设计一套基础砖块连接件装饰件的组合系统——孩子们可以用这套系统拼出他们想要的任何东西。catlass 就是昇腾矩阵乘算子的乐高工厂。这不是一个普通的算子库而是一个模板工厂。它的核心哲学不是给你一个成品算子而是给你一套可复用、可替换、可局部修改的模板组件。就像乐高没有标准城堡积木只有2×4红色砖、1×2灰色砖、斜坡件、窗户件——组合的自由在孩子手里。catlass 的全称是 CATLASSCompute Architecture for Tensor Linear Algebra Subroutines on Ascend聚焦高性能矩阵乘类算子的基础模板。它由华南理工陆璐教授团队与华为 CANN 团队联合开发从 v1.0 到最新的 v1.5.0已经支持 Ascend 910 和 Ascend 950 两代芯片。这个仓库的存在让算子开发从从零手写进化到模板组装——性能不降开发效率翻倍。三层抽象架构从基础砖块到成品算子catlass 的核心设计理念是分层抽象。就像乐高分基础砖块层→功能组件层→成品模型层三层catlass 也把自己的模板分成了三层第一层基础层——“基础砖块与连接件”基础层提供的是最原始的积木块包括GMprGlobal Memory Provider全局内存管理器就像乐高的底板——所有积木都要搭在上面。它负责与昇腾 NPU 的全局内存HBM交互决定数据放哪、怎么搬、何时释放。VRegVector Register向量寄存器抽象就像乐高的1×1小砖——最小的工作单元。昇腾 NPU 的 Vector 单元靠它来存储和计算中间结果。TPipeTensor Pipe数据流水线抽象就像乐高的传送带——把数据从全局内存搬运到 SRAM片上高速缓存再从 SRAM 搬到 Vector 寄存器算完后再写回去。TPipe 负责编排这条流水线让搬运和计算尽可能重叠。这一层不关心你算的是矩阵乘还是向量加只关心数据怎么搬、怎么存。它是所有上层模板的基础就像所有乐高模型都离不开 2×4 红色砖。第二层特化层——“功能组件”特化层在基础层之上针对具体计算场景做特化。这一层的关键是策略矩阵乘策略MatMul Policy决定矩阵乘怎么算。分块大小多大循环怎么展开要不要做多级缓存这些策略决定了矩阵乘的性能上限。数据类型策略Datatype Policy决定用什么精度算。FP32FP16BF16还是 HiFloat8不同的数据类型对应不同的硬件执行路径。硬件特化策略Hardware Policy针对不同芯片做特化。Ascend 910 的 Cube 单元和 Ascend 950 的 Cube 单元在延迟、吞吐、缓存大小上都有差异这一层负责对硬件谈判——把计算逻辑映射到最合适的硬件执行路径。这一层就像乐高的轮子组件“窗户组件”——不再是原始砖块而是有特定功能、可以复用的模块。一个轮子组件可以用在赛车上也可以用在卡车上同样一个矩阵乘策略可以用在 FlashAttention 算子里也可以用在 MoE 算子里。第三层实例化层——“成品模型”实例化层是最终交付给开发者的东西——具体的矩阵乘算子。它不是手写的而是通过组合第二层的策略、复用第一层的基础能力组装出来的。比如一个FP16 矩阵乘算子的实例化过程是这样的FP16MatMul 算子 GMpr内存管理 TPipe数据搬运流水线 MatMulPolicy矩阵乘分块策略 FP16DatatypePolicyFP16 数据类型策略 Ascend910HardwarePolicyAscend 910 硬件特化这就像孩子用基础砖块轮子组件窗户组件拼出一个成品赛车。他不需要知道窗户是怎么注塑出来的只需要知道窗户组件往这里一插就行。同样开发者不需要知道内存管理的细节只需要选择合适的策略组合。Ascend 910 vs Ascend 950硬件特化的两套积木catlass 的一个关键能力是硬件特化——同一套模板代码通过不同的策略配置适配不同的芯片。v1.5.0 新增对 Ascend 950 的支持让这套积木工厂能产出两套不同的成品模型。Ascend 910训练芯片的重型积木Ascend 910 是昇腾的训练芯片Cube 单元矩阵计算单元的吞吐大、延迟低但 SRAM 容量相对小每核 1MB 级别。这意味着矩阵乘策略要大开大合——分块要大循环展开要狠尽可能让 Cube 单元满载跑起来。在 catlass 的模板里Ascend 910 的硬件特化策略是这样的// Ascend 910 矩阵乘策略示例概念代码templatestructMatMulPolicyAscend910{staticconstexprintkM_Block128;// M 维分块大小staticconstexprintkN_Block128;// N 维分块大小staticconstexprintkK_Block64;// K 维分块大小staticconstexprboolkUseDoubleBuffertrue;// 开启双缓冲};这几行代码的含义是对于 Ascend 910矩阵乘采用 128×128×64 的分块策略同时开启双缓冲计算和搬运重叠。这是针对训练场景的重型配置——吞吐优先。Ascend 950推理芯片的精密积木Ascend 950 是昇腾的推理芯片Cube 单元的吞吐略低但 SRAM 容量大每核 2MB 级别延迟控制更精细。这意味着矩阵乘策略要小步快跑——分块可以小一点流水线层级多一点让数据在 SRAM 里待的时间更长减少对 HBM 的访问。在 catlass 的模板里Ascend 950 的硬件特化策略是另一套// Ascend 950 矩阵乘策略示例概念代码templatestructMatMulPolicyAscend950{staticconstexprintkM_Block64;// M 维分块更小staticconstexprintkN_Block64;// N 维分块更小staticconstexprintkK_Block32;// K 维分块更小staticconstexprboolkUseTripleBuffertrue;// 三缓冲更好利用大 SRAM};这里的变化分块从 128×128×64 降到 64×64×32同时从双缓冲升级到三缓冲。这是针对推理场景的精密配置——延迟优先充分利用大 SRAM 减少内存访问。同一套模板两套策略一份代码关键在于开发者在写矩阵乘算子时不需要写两份代码。他只需要这样实例化// Ascend 910 版本的矩阵乘算子usingMatMul910GemmKernelGMpr,// 内存管理TPipeAscend910,// Ascend 910 的流水线MatMulPolicyAscend910,// Ascend 910 的分块策略FP16DatatypePolicy,// FP16 数据类型Ascend910HardwarePolicy// Ascend 910 硬件特化;// Ascend 950 版本的矩阵乘算子usingMatMul950GemmKernelGMpr,// 内存管理复用TPipeAscend950,// Ascend 950 的流水线MatMulPolicyAscend950,// Ascend 950 的分块策略FP16DatatypePolicy,// FP16 数据类型复用Ascend950HardwarePolicy// Ascend 950 硬件特化;同一个GemmKernel模板通过传入不同的策略参数生成了两个完全不同的算子实现。这就是 catlass 的核心能力——“白盒化组装”模板是透明的策略是可替换的性能是可预期的。一个完整实例从模板到 FP16 矩阵乘算子理论讲完了来个实战。下面是一个完整的 FP16 矩阵乘算子模板实例化代码简化版保留核心逻辑// 文件examples/gemm_fp16_910.cpp#includecatlass/gemm_kernel.h// 1️⃣ 引入矩阵乘核心模板// 2️⃣ 定义 Ascend 910 硬件特化策略usingHardware910catlass::HardwarePolicycatlass::Ascend910,// 芯片型号catlass::CubeUnit,// 使用 Cube 矩阵计算单元catlass::HBM// 全局内存类型;// 3️⃣ 定义 FP16 数据类型策略usingFP16Policycatlass::DatatypePolicycatlass::FP16,// 输入数据类型catlass::FP16,// 输出数据类型catlass::FP32// 累加精度避免精度损失;// 4️⃣ 定义矩阵乘分块策略Ascend 910 优化版usingBlockPolicycatlass::MatMulPolicy128,// M 维分块大小128,// N 维分块大小64,// K 维分块大小true// 开启双缓冲;// 5️⃣ 实例化最终算子usingGemmFP16_910catlass::GemmKernelcatlass::GMpr,// 全局内存管理catlass::TPipeHardware910,// 数据流水线BlockPolicy,// 分块策略FP16Policy,// 数据类型策略Hardware910// 硬件特化;// 6️⃣ 主函数调用算子externC__global__voidgemm_fp16_kernel(half*A,half*B,half*C,// 输入输出矩阵指针intM,intN,intK// 矩阵维度){GemmFP16_910::execute(A,B,C,M,N,K);}逐行解析第 1 行引入 catlass 的矩阵乘核心模板GemmKernel。这个模板是所有矩阵乘算子的骨架定义了算子的整体执行流程。第 2 行Hardware910定义硬件特化策略。这里指定三个关键信息Ascend910目标芯片是 Ascend 910 训练芯片CubeUnit使用 Cube 单元做矩阵乘不是 Vector 单元Cube 单元是昇腾 NPU 的矩阵计算专用硬件HBM全局内存是 HBM 类型高带宽内存这个策略会让GemmKernel在编译时选择针对 Ascend 910 Cube 单元的指令序列。第 3 行FP16Policy定义数据类型策略。关键点在第三行FP32累加精度。这意味着虽然输入输出是 FP16但中间的累加矩阵乘的 dot product 累加用 FP32避免 FP16 精度损失导致数值误差累积。这是高性能矩阵乘的标准做法。第 4 行BlockPolicy定义分块策略。这是性能的关键128×128×64 的分块意味着每次从 HBM 加载 128×64 的 A 矩阵块和 64×128 的 B 矩阵块到 SRAM算出一个 128×128 的 C 矩阵块true表示开启双缓冲在计算当前块时同时加载下一块的数据到另一个缓冲区让搬运和计算重叠第 5 行GemmFP16_910定义这是整个模板实例化的核心。GemmKernel是 catlass 的核心模板它接收 5 个策略参数GMpr全局内存管理负责与 HBM 交互TPipeHardware910数据流水线负责 HBM→SRAM→寄存器的搬运编排BlockPolicy分块策略决定矩阵乘怎么切FP16Policy数据类型策略决定用什么精度算Hardware910硬件特化策略决定用什么硬件指令编译时C 模板会把这 5 个策略融合成一个完整的算子实现包含具体的指令序列、内存访问模式、循环展开策略。第 6 行gemm_fp16_kernel函数这是 Ascend C 的算子入口函数。extern C保证 C 链接__global__表示这是 NPU 核函数类似 CUDA 的__global__。函数内部只需一行调用实例化后的GemmFP16_910::execute传入矩阵指针和维度。这段代码的魔力在哪如果你用传统方式手写这个矩阵乘算子需要做这些事情手写 HBM→SRAM 的数据搬运代码处理对齐、bank conflict手写 Cube 单元的矩阵乘指令查阅昇腾指令集手册手写双缓冲的流水线编排计算何时加载下一块手写 FP16→FP32 的类型转换和累加逻辑针对 Ascend 910 和 Ascend 950 分别写两套用 catlass 模板你只需要 6 行策略配置代码。性能不低于手写。为什么因为 catlass 的策略就是从手写优化代码里抽象出来的最佳实践——开发者已经踩过坑了你直接用就行。与 ops-blas 的关系模板工厂 vs 成品货架catlass 和 ops-blas 经常被混淆。简单说catlass 是模板工厂ops-blas 是成品货架。ops-blas开箱即用的算子封装ops-blas 是 CANN AOL 算子库中的线性代数算子库提供直接可用的算子封装// ops-blas 的调用方式示意#includeops_blas.hops_blas::Gemm(A,B,C,M,N,K);// 直接调用不用关心实现细节ops-blas 的定位是让普通开发者不碰算子细节。它封装了矩阵乘、向量点乘、矩阵分解等常用线性代数操作提供类似 BLAS 库的标准 API。开发者只需要调用不需要知道内部用的是 catlass 模板还是其他实现。catlass给算子开发者的乐高工坊catlass 的定位完全不同。它不是给普通开发者用的而是给算子开发者用的。如果你需要写一个自定义矩阵乘算子比如特殊的分块策略、特殊的融合逻辑需要针对新芯片适配矩阵乘比如下一代 Ascend 芯片需要在矩阵乘里嵌入特殊计算比如量化、稀疏、混合精度这时候你不需要从零手写而是用 catlass 的模板组装。两者关系ops-blas 可能调用 catlass在 CANN 的生态里ops-blas 底层可能使用 catlass 模板实现矩阵乘。这意味着普通开发者 → 调用 ops-blas → ops-blas 内部调用 catlass 实例化的算子 算子开发者 → 直接用 catlass → 自己组装算子catlass 是底层引擎ops-blas 是上层封装。普通开发者用 ops-blas 就够了需要定制化时才下到 catlass 层。旅程终点站一个留给你思考的问题catlass 的三层抽象设计本质上是把算子开发从手工作坊变成了流水线工厂。基础层提供砖块特化层提供功能组件实例化层组装成品——开发者的角色从工匠变成了设计师。但这里有一个取舍模板化意味着有限自由度。你能组装的算子受限于 catlass 提供的策略组合。如果你想要的矩阵乘策略不在模板库里比如极端的分块策略、特殊的融合逻辑你只能扩展 catlass 的策略写新的 Policy 类退回到手写 Ascend C 代码
