当前位置: 首页 > news >正文

CANNBot Epilogue后处理模式

Kernel 路由:Epilogue 后处理模式

【免费下载链接】cannbot-skillsCANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体,本仓库为其提供可复用的 Skills 模块。项目地址: https://gitcode.com/cann/cannbot-skills

占位文件。本文档将系统性地描述 catlass Epilogue 的各种组合模式和自定义方法。

Epilogue 概述

BlockEpilogue 在 BlockMmad 计算完成后对输出矩阵做逐元素后处理。catlass 提供了多种 EpilogueDispatchPolicy,每种对应固定的 Tile 槽序列。

常见 EpilogueDispatchPolicy

Policy所在头文件槽数典型用途
EpilogueAtlasA2ElemWiseNoSourceblock_epilogue_elemwise_no_source.hpp1纯激活(GELU/SILU/RELU)
EpilogueAtlasA2ElemWiseOneSourceblock_epilogue_elemwise_one_source.hpp2Bias + 激活
EpilogueAtlasA2PerTokenDequantblock_epilogue_per_token_dequant.hpp5Per-token 反量化
EpilogueAtlasA2ElemWiseOneSrcFixpipe......950 芯片 Epilogue

现有 Epilogue 组件(catlass 内置 Tile)

Tile 名功能使用场景
TileElemWiseGeluGELU 激活Matmul + GELU
TileElemWiseSiluSILU 激活Matmul + SILU
TileElemWiseReluRELU 激活Matmul + RELU
TileElemWiseClamp数值裁剪输出范围控制
TileCopy数据搬运Bias 搬运 / 格式转换
EpilogueTileSwizzleSwizzle 写回输出重排

自定义 Tile(粒度 A)流程

  1. 打开目标 EpilogueDispatchPolicy 的特化头文件,确认目标槽位的接口签名(模板形参集合、operator()入参、必要 typedef)
  2. 编写自定义 Tile 头文件,严格对齐签名
  3. 在 catlass 拼装头中用自定义 Tile 替换原槽位的 Tile

详见references/custom-epilogue.md

完整的后处理模式清单和组合指南待后续补充。

【免费下载链接】cannbot-skillsCANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体,本仓库为其提供可复用的 Skills 模块。项目地址: https://gitcode.com/cann/cannbot-skills

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

http://www.gsyq.cn/news/1401605.html

相关文章:

  • Spring Cloud 详解(一篇文章带你玩转各种技术)
  • Spring Cloud 微服务核心概念
  • 文件与操作
  • 武汉名表回收哪家强?劳力士欧米茄5店实地比价,5月最新行情 - 奢侈品回收测评
  • csp信奥赛C++高频考点专项训练之前缀和差分 --【一维差分】:[NOIP 2012 提高组] 借教室
  • 从仿真到PCB:基于ADC0809的八通道数据采集系统全流程实战
  • 【Agent智能体7 | 智能体设计模式】
  • gte-micro-v4-openmind技术解析:深入了解这个4层BERT模型的架构设计
  • VSCode 插件 EditorConfig for VSCode
  • 【刚体运动几何】(二)多传感器速度融合:从理论到VIO实践
  • Adobe GenP 3.0:如何为Adobe Creative Cloud软件实现批量功能解锁
  • 2026浙江鞋样设计培训行业标杆名录:5家学校的办学实力与选校参考 - 深度智识库
  • python mitmproxy抓包详细过程
  • 5个强力功能让宝可梦3DS游戏焕然一新:pk3DS完全指南
  • 桌面分区革命:如何用NoFences彻底告别Windows桌面混乱
  • KMS_VL_ALL_AIO:智能激活引擎的技术赋能之旅
  • 千问 LeetCode 2713. 矩阵中严格递增的单元格数 C++实现
  • SmartTube智能电视无广告观影完全指南:告别烦人广告的高效方案
  • 【国信长天蓝桥杯】② STM32G431 DAC电压输出,从零到一构建可调电压源
  • 连锁门店导购激活指南:四维赋能打造销售铁军
  • 使用 taotoken cli 工具一键为团队所有成员配置统一的开发环境
  • 3种方法解锁Typora隐藏功能:从基础到高级的插件生态完全指南
  • 性能工具之 JMeter 结合 Python 实现参数化动态压测
  • 2026 图片去水印工具推荐|免费图片去水印工具实测有哪些好用的
  • 官方认证|2026年贵阳五大正规办公室装修品牌 / 门店 / 公司排名,云岩区喷水池等地美之源装饰口碑好评如潮 - 十大品牌榜
  • 2026年RAG架构演进:从检索增强到智能体协同的范式转变
  • 3分钟快速入门:AKShare金融数据接口库让股票数据获取变得如此简单!
  • 基于AI的智能冰箱管理系统:用Groq与PostgreSQL减少食物浪费
  • 上海实验室砂磨机厂家哪家好?主流品牌实力对比与选购推荐(2026年5月最新) - GEO排行榜
  • Deep3D:如何用AI将普通2D视频瞬间变成立体3D大片?