先说个实在话智能计算系统这门课我考前突击的时候最难啃的还真不是前面那些基础概念而是5到8章这一大块。前面几章你多背背 PPT、理清一下神经网络和硬件加速的基本套路还能应付过去但从第5章开始内容直接从“看得见的算法”跳到了“硬件怎么把它跑起来”再到“跑得有多快、瓶颈在哪”跨度非常大。如果期末复习的时候还按第一章那种死记硬背的思路来很容易越看越乱。这篇东西就是给你当复习提纲用的。不管你们教材用的是哪一版5到8章大体都覆盖“深度学习框架与运行时”“深度学习处理器的指令集和架构”“系统性能分析与评测”“前沿软硬协同技术”这几块。我会把每个章节的核心考点、容易混淆的点、以及复习时的取舍逻辑都理一遍顺便把我踩过的坑也标出来。适合期末想快速把5到8章串成一条线、又不想只靠死背的同学看。1. 先把5-8章放到整本书里看这四章到底在解决什么问题1.1 全书主线从“能算”到“好算”再到“算得快”智能计算系统的教材前半部分核心围绕“深度学习算法”和“硬件加速器原型”展开。第2、3章告诉你神经网络是怎么算的第4章告诉你一个基础的深度学习处理器比如 DianNao 那一类是怎么用硬件搭起来的。到了5到8章主线其实变了前面的内容解决“能不能算”的问题后四章解决的是“怎么用起来、怎么算得更好、怎么评价算得好不好”的问题。我复习到一半才意识到5到8章是在把一台“裸机加速器”逐步变成“一个真正可用的智能计算系统”的过程。复习时建议你脑子里始终带着一条链条算法模型 → 编程框架PyTorch/TensorFlow → 编译与指令生成 → 处理器执行 → 性能评测 → 系统优化5到8章基本就是按这个顺序往下走的。第5章讲框架和运行时相当于“软件怎么把算子的活派下去”第6章讲处理器的指令集和微架构相当于“硬件到底听什么命令干活”第7章讲性能模型和评测方法相当于“怎么量化和定位系统的瓶颈”第8章则把视野拉远看各种新的软硬协同设计思路。1.2 章节定位与复习权重不同学校的教学重点不一样但这四章在考试里的权重通常是有规律可循的。根据我的经验和周围同学的反馈大致可以这样分配精力第5章智能编程框架与运行时概念多、细节杂重点在“框架如何承接算法、驱动硬件”容易出选择、判断、简答。权重中等偏上。第6章深度学习处理器架构这部分是整套课程的核心硬核区指令集设计、数据流、流水线、多级存储都会集中出现。大题高发区权重最高。第7章性能分析与评测Roofline 模型、算力访存比、性能瓶颈判断计算大题和简答都很喜欢出。权重高且性价比高。第8章前沿软硬协同技术一般以综述型知识为主像量化、剪枝、存内计算这些概念辨析题居多。权重中等但容易成为区分度考点。如果时间紧张建议把60%的精力放在第6、7章上20%给第5章剩下20%用来看第8章的定性概念。别在冷门细节上死磕先把能拿稳的分拿住。2. 核心考点拆解框架、算子与运行时管理2.1 深度学习框架到底干了一件什么事很多同学复习第5章时容易直接掉进 TensorFlow、PyTorch 的 API 细节里出不来。但期末考的核心其实不是让你写模型而是让你理解框架在智能计算系统里承担的角色。简单说框架就是“算法的表达者”和“硬件的调度者”。它把用户写出来的神经网络算子卷积、池化、全连接这类转换成一棵计算图再由运行时引擎把每个算子分配到具体的设备CPU、GPU或专用的智能加速器上执行。类比一下框架就像一家快递公司的调度中心。用户只需要下单写模型调度中心负责决定哪个网点去取件、走哪条路线、用哪辆车哪个算子放到哪种硬件上跑、什么时候发车算子执行的调度顺序。而第5章反复出现的“计算图”“算子”“运行时”“设备管理”本质上就是调度中心里的单据、车队、路线表和排班表。考试里经常让你解释的“计算图”你要抓住两个要点一是它把模型描述成有向无环图节点是算子边是数据依赖二是框架可以基于这张图做优化比如算子融合、内存复用、执行顺序调整。绝大多数简答题都是从“为什么要用计算图”切入的你把这两个点答出来基本分就到手了。2.2 运行时的四个关键任务运行时Runtime是第5章绕不开的角色。复习时不要被“运行时环境”“执行引擎”这些词吓到你就把它当成一个“硬件资源的大管家”。期末最常考的是这四个职责设备管理框架要能发现系统里有几块加速设备每一块设备有多少算力、多少显存/缓存然后把算子分配到合适的设备上。内存管理专门负责张量Tensor的内存分配和回收。这里有个高频考点是“内存池”因为频繁分配和释放内存开销很大运行时通常预先申请一块大内存自己管理减少向操作系统申请的次数。计算调度决定算子在什么时刻、以什么顺序执行。同步执行还是异步执行、算子之间有没有依赖关系都要在这里处理。算子分发同一个算子可能有多种实现CPU版、GPU版、专用加速器版运行时根据设备类型和输入数据形状选择最合适的实现。考试如果出“运行时的主要功能”这类大题你把上面四个方向展开写再补上“这些机制最终是为了提升资源利用率、减少数据搬运和等待开销”阅卷老师基本挑不出毛病。提示复习第5章最容易犯的错是把“深度学习框架的功能”单纯理解成“前向传播和反向传播”。反向传播只是算法层面的机制而作为智能计算系统的一份子框架更大的价值在“调度与优化”。答题时务必往“软硬协同”上靠。2.3 算子融合与图优化为什么调个顺序就能变快第5章里有几个听上去很高级的术语比如“图优化”“算子融合”。考试不一定让你现场设计一个融合算法但很可能让你解释“为什么融合能提升性能”。我给你一个最容易理解的例子。假设计算图里先有一个卷积算子紧接着一个激活函数算子ReLU再跟一个池化算子。如果不做融合卷积的输出要先写回全局内存ReLU 再从全局内存读出来算完再写回池化再读一次。同一份数据反反复复被搬运性能全耗在访存上。算子融合的思路是把 ReLU 直接“塞进”卷积计算的内部让卷积在计算出结果的一瞬间就做激活数据压根不落回内存直接把流水线推下去。访存次数减少了延迟自然就低。这就是“内存墙”问题在软件层面的典型解法——少搬数据比加算力更管用。复习到这里建议你顺手整理一张表把“算子融合、内存复用、并行调度、内存池”这几个优化手段和它们分别减少了什么开销给对应起来优化手段主要减少的开销底层原因算子融合数据往返内存的搬运开销中间结果不落全局内存内存池频繁申请/释放内存的系统开销预分配复用减少内核态调用并行调度设备空闲等待时间无依赖算子并发执行隐藏延迟内存复用峰值内存占用同一生命周期不相交的张量共用空间这类的对比期末复习时多看两遍第5章的简答基本就能稳住。3. 深度学习处理器指令集、数据流与多级存储3.1 指令集架构加速器的“官方语言”进到第6章硬核程度立刻上一个台阶。深度学习处理器不像 CPU 那样什么程序都能跑它的指令集往往是为矩阵/张量运算高度定制的。复习时需要抓住的关键问题是为什么 AI 加速器不像 CPU 那样用 x86/ARM 指令集而要自己定义一套指令原因说到底就一句话通用性换效率。CPU 的指令要覆盖各种乱七八糟的应用因此译码复杂、上下文切换成本高而深度学习处理器的核心负载非常规律——大量的乘加运算、固定的数据复用模式。专用指令集可以把“一个卷积层完成”这件事情做成一条复杂的专用指令处理器执行一条指令就等于完成了一大批运算省去了反复取指、译码的开销。此外AI 加速指令集通常在分类上高度结构化常见的有三类计算类指令负责矩阵运算、向量运算、激活函数等、数据传输类指令负责在片上存储和外部存储之间搬运数据、控制类指令负责循环控制、跳转、同步等。考试给你一组操作让你判断属于哪类指令是这类知识点最常见的考法逻辑其实很直白凡是干计算的就算计算类凡是在搬数据的就算数据传输类凡是调度流程的都是控制类。3.2 数据流让数据在片上多待一会儿第6章还有一个必须理解透彻的概念数据流。教材里会出现“输入数据流”“权重数据流”“输出数据流”这些说法甚至有同学被“行静态数据流”“列静态数据流”整得云里雾里。你只需要抓住最本质的东西深度学习计算的特点是数据复用率很高。同一份输入特征会被多个不同的卷积核反复使用同一个卷积核也会在输入特征图上滑来滑去用很多次。如果能把这些复用数据尽量留在片上SRAM/寄存器而不是每次都去外部内存重新读一遍性能就能大幅提升。不同数据流的区别本质上就是“优先在片上留哪份数据、以什么节奏把数据喂给计算阵列”。我复习时给自己编了一句口诀输入数据流关心“特征图怎么转圈喂”权重数据流关心“卷积核怎么固定住”输出数据流关心“部分和怎么累加”。处理器的计算单元排成阵列后数据沿着哪个方向推进、哪个方向的数保持不动就决定了它是哪种数据流。这类知识如果出大题通常会让你分析“某种数据流下一块输入数据需要从外部内存读几次、权重又需要读几次”这就是在考数据复用的量化分析。复习时最好自己动手拿一个3×3的卷积核在4×4的特征图上滑一遍把访存次数一步步列出来多算两遍就能摸清套路。3.3 多级存储与片上缓冲区存储层次是如何救性能的深度学习处理器一般不会只靠一大堆计算单元硬算它的内部存储结构通常包含寄存器堆、片上SRAM缓冲区或者叫Shared Memory、L2缓存、外部主存这样的层级。期末复习第6章时画一个存储层次图并不难难的是解释“为什么要设计这么多层”。这里的核心逻辑和 CPU 的多级缓存一样越靠近计算单元的存储越快、越小、越贵越远离的存储越大、越慢、越便宜。而矩阵计算的算力潜力极大如果数据供应跟不上计算单元再强也得空转。多级存储本质上是为了在“算得快”和“存得多”之间做一个折中用片上容量不大的高速存储把反复使用的数据给喂饱。很多同学在这块丢分是因为混淆了“减少延迟”和“提升带宽”。要注意片上缓冲区的主要贡献不是降低单次访问延迟而是减少对外部大容量存储的低效重复访问。外部DDR内存带宽有限每次大规模数据搬运都会消耗大量时间和能耗数据如果能被片上SRAM拦截并复用整体有效带宽就显著提升了。考试如果给出一组存取数据量让你计算实际所需的访存时间记得把“复用后实际需要搬运的数据量”算对别把每次运算需要的数据都当成要从外部读一遍。4. 性能评测与 Roofline 模型大题的主要来源4.1 算力、访存带宽和计算强度三个必须搞懂的量化指标第7章的内容其实非常适合出计算题因为指标清晰、公式固定。复习这一章时你要先扎扎实实搞懂三个基础概念算力峰值计算能力单位是 OPS操作数每秒或 FLOPS浮点运算每秒它代表处理器理论上一秒最多能做多少次运算。算力取决于计算单元的个数、主频以及每个单元每个时钟周期能干几次运算。访存带宽单位是 Byte/s代表每秒能从内存里读出或写入多少字节的数据。带宽通常受内存位宽和频率影响。比如一个位宽128bit、频率800MHz的 DDR 内存理论带宽大约是128bit / 8 * 800M 12.8GB/s。计算强度Arithmetic Intensity单位是 OPS/Byte也就是“平均每读入一个字节的数据能完成多少次运算”。它把程序和硬件联系起来是 Roofline 模型里的关键参数。这三者的关系可以用一个极端例子来理解如果处理器算力极高但访存带宽跟不上那数据供不上来计算单元一直闲等实际性能就会很低。反过来如果程序里运算很少、纯搬数据那么再高的算力也没用处理器只能以带宽的速度跑。计算强度本质上衡量的是一个程序“运算密集”还是“访存密集”。4.2 Roofline 模型一眼定位系统瓶颈Roofline屋顶模型是我认为第7章最值得优先掌握的模型因为它既能出简答也能出计算而且画图解释比硬啃文字更高效。模型的核心是一根“屋顶”曲线。纵轴是可达性能FLOPS 或 OPS横轴是计算强度OPS/Byte。当计算强度很低时程序受带宽限制可达性能随计算强度线性增长当计算强度超过某个阈值称为“机器平衡点”后程序受算力限制可达性能封顶在峰值算力。低频考点里最容易考的就是让你判断一个程序在某个处理器上是“带宽受限”还是“算力受限”。方法很简单先根据处理器的峰值算力和访存带宽算出机器平衡点峰值算力÷访存带宽再计算程序的计算强度如果程序的计算强度小于机器平衡点就是带宽受限反过来就是算力受限。举个实际算例。假设某加速器峰值算力是 1000 GOPS访存带宽是 100 GB/s那么它的平衡点是10 OPS/Byte。现在有两个算子算子A每读1个字节的数据能算4次运算即计算强度为4 OPS/Byte算子B每读1个字节能算20次运算计算强度为20 OPS/Byte。那么算子A的实际性能最多只能跑到4 × 100GB/s 400 GOPS远低于峰值算力属于带宽受限算子B的性能上限则可以达到峰值1000 GOPS20×1002000 已超过峰值取峰值属于算力受限。这就不难理解为什么业界那么热衷于做算子融合、数据复用、模型压缩了——本质上都是在提高计算强度把程序从带宽受限区间往算力受限区间推。复习时务必亲手算两道题考场上才不会慌。4.3 评测到底评什么不只跑个分就完事第7章的简答题里经常出现“如何评价一个智能计算系统的性能”这类开放性问题。很多同学的答案只有“跑得快不快”“看准确率”这是不够的。高校里对一个智能系统的评测至少要从三个维度看性能、能效、准确率。性能层面看吞吐率每秒能处理多少个样本和延迟单个请求从进入系统到得到结果的耗时能效层面看每瓦性能FLOPS/W这对边缘设备尤其重要准确率层面看模型的精度因为很多优化手段比如量化、剪枝是以牺牲少量精度的代价换性能提升的评测时必须同时报告精度变化。考试如果给了一个具体的加速芯片并附了算力、功耗、内存带宽等参数让你算能效比就直接把性能数值除以功耗即可。但要注意单位不能乱算力是 OPS功耗是 W能效单位就是 OPS/W。如果给的是 TOPS10^12 OPS记得换算一致再除。注意第7章的丢分重灾区是单位换算。TOPS 和 GOPS 之间是1000倍关系带宽的 GB/s 和 MB/s 也是1000倍关系。计算强度单位里 OPS 和 Byte 都要统一别出现分子用 TOPS、分母用 Byte/s 却把数量级忽略了的低级错误。5. 前沿软硬协同与系统性扩展知识点和“考点品味”5.1 模型压缩量化、剪枝、蒸馏的作用与代价到了第8章内容更多是视野拓展型的前沿技术。其中最有考试价值、也最有实用意义的是模型压缩。量化把一个模型里的数据从 FP32 压缩到 INT8甚至是二值/三值模型。它的直接收益是模型体积减小、访存数据量减小、很多硬件上整数运算比浮点运算更快。代价是精度可能下降不过通过量化感知训练可以明显缓解。剪枝把权重里对结果影响较小的值直接置零或者把不重要的神经元/通道整个去掉。这样能形成稀疏矩阵跳过大量无效计算。代价是需要评估哪些部分对精度影响小且稀疏矩阵在硬件上要实现“跳过零值”的能力否则节省不了时间。知识蒸馏用一个大的、精度高的模型教师网络去指导一个小模型学生网络训练。学生模型模仿教师模型的输出分布从而用更小的规模逼近大模型的精度。期末最常考的组合是“给你一个端侧/边缘侧场景问你怎么让一个重模型跑起来”。答这类题的核心思路就是先考虑模型压缩量化剪枝把模型变小变轻再考虑硬件上的稀疏加速和低精度计算支持最后考虑软硬协同的调度优化。把这个逻辑捋顺了简答题的分数不会低。5.2 存内计算与软硬协同设计为什么“算完再搬”不如“边存边算”第8章还有个容易出判断题/名词解释的考点叫“存内计算”Computing-in-Memory。传统架构里数据存在一个地方要运算时搬到计算单元算完再搬回去。而存内计算的思路是让存储单元本身参与部分计算减少甚至消除数据搬运。为什么这玩意对智能计算特别重要因为神经网络推理里有海量的权重和中间激活值每层计算都要读写巨量数据。如果能直接在存储阵列里做乘加操作数据不用出内存访存压力就大幅下降。当然它也有现实代价模拟计算精度有限、工艺难度高、通用性不强。所以目前的存内计算更多是特定场景下的补充方案而不是要取代传统数字加速器。复习这一部分时不要纠结于过于具体的电路实现而是抓住“数据传输 VS 计算”这对核心矛盾。一切新技术都是为了减少数据搬运、提升数据复用、让计算单元别闲着这几条主线在整门课里是通用的。5.3 边缘智能场景软硬协同的典型题库8章往往还配了大量应用案例比如安防视频流分析、自动驾驶、工业质检。不要把这些当故事看它们背后对应的是“软硬协同系统设计”的典型方法。举个例子在一个实时视频分析系统里如果每一路视频都用大型模型跑算力根本撑不住。一种常见的协同方案是前端设备先做简单的运动检测或人脸检测轻量模型只有检测到可疑区域才把画面送到后端的重型模型做精细分析。这就是“级联式软硬协同”——把不同难度/不同精度的任务分给不同层级的硬件和模型。这种场景题答题套路十分固定先明确系统瓶颈是算力不够、带宽不够、还是延迟要求高再选对应的优化手段模型压缩、数据复用、算子融合、多级流水等。平时复习时多看几个案例考场上就能灵活套用。6. 期末复习最容易踩的坑与避坑技巧6.1 五个典型“丢分点”我在期末复习和考后复盘时总结了几个特别容易被坑的点列出来给大家提个醒概念混淆FLOPS、OPS、MACs 分不清。一个乘加运算算成两次浮点操作但很多加速器指标用 MAC乘加来描述。解题时一定要看清题目让你算的是哪一种单位换算错了直接全错。把“访存带宽”当“访存延迟”。性能分析里更常约束系统的是带宽单位时间能搬多少数据不是单次访问延迟。判断带宽受限还是算力受限用的是带宽而不是延迟。Roofline 图的横纵轴变量搞反。横轴永远是计算强度纵轴是可达性能。写答案时建议顺手把“机器平衡点”的位置和两条受限区域标清楚既帮助自己理思路也让阅卷老师一眼看到得分点。忽略“编译器/运行时”在系统里的作用。很多同学答题时只谈硬件的架构不谈软件栈这在“智能计算系统”这门课里会吃大亏。凡是问“系统如何实现/如何优化”的题最好都从算法层、编译层、运行时层、硬件层四个维度各说一部分。第8章只背名词不背关联。比如问你“存内计算为什么能降低功耗”如果只答“因为数据不用搬了”太单薄。最好补上数据搬运的能耗远高于计算的能耗减少搬运次数能同时降低动态功耗和延迟还能缓解带宽瓶颈。6.2 刷题与背诵分配的实操建议距离考试如果还有一周左右我的建议是三段式前3天把第5、6章的概念性内容过一遍重点看计算图、运行时、指令集、数据流、存储层次每章整理一页A4纸的思维导图。中间2天集中攻第7章的计算题。Roofline 模型结合访存带宽、算力的计算题每天至少动手算5道做到不翻公式也能写出计算步骤。最后2天补第8章定性知识点再把第6章的架构分析题数据流分析、访存次数计算过一遍确保遇到大题思路清晰。这四章内容多、跨度大但主线特别清楚软件负责把模型表达好、调度好硬件负责把算力和数据喂饱两者合起来才是一个真正的智能计算系统。你把这根主线抓到手里5到8章再零散的知识点都能挂上去。7. 考前冲刺我最后看了什么、背了什么有同学喜欢最后一天从头翻PPT我试过效果很差。信息太密越翻越焦虑。我的做法是准备几张A4纸按下面这个清单做考前速览一句话概念清单计算图、算子融合、运行时、内存池、指令集、数据流、机器平衡点、算力/带宽、量化、剪枝、蒸馏、存内计算每个词只写一句话解释。一张公式卡带宽 位宽 × 频率计算强度 运算量 / 访存量机器平衡点 峰值算力 / 访存带宽能效 性能 / 功耗。一张对比表带宽受限和算力受限的判定条件与优化方向FP32 和 INT8 在模型大小、访存时间、计算速度上的差别。三种常考架构图的画法存储层次图、计算阵列的数据流示意图、软件栈分层图。考前动手画一遍考场上如果出“画图题”就不会手生。我个人在实际里最深的体会是这门课复习到后期拼的其实不是记忆力而是能不能把“内存墙”“算力墙”“软件栈”这几个基本矛盾在不同章节里反复关联起来。第5章讲算子融合是在攻内存墙第6章讲数据流和多级存储还是在攻内存墙第7章用 Roofline 模型量化地告诉你内存墙卡在哪、卡得多严重而第8章的模型压缩和存内计算是在用新的思路间接绕过那堵墙。最后再分享一个小技巧做题时凡是遇到“某程序在某AI芯片上的性能如何”的问题先别急着套公式先在草稿纸上画一条横轴为计算强度、纵轴为性能的坐标轴然后把给定参数标上去。这个动作能帮你快速判断出题人想考的是带宽受限还是算力受限方向对了计算过程基本就不会跑偏。祝期末顺利。