1. 从一次画面撕裂说起渲染管线到底在解决什么问题很多人第一次接触“渲染管线”这个词是在调试一个画面异常的时候。比如模型明明在场景里屏幕上却只出现半个或者改了光照参数画面却毫无反应再或者帧率突然从60掉到20查了半天发现是某个材质开了透明混合。这些问题背后几乎都指向同一件事你对渲染管线的工作流程不够清楚。渲染管线英文叫Rendering Pipeline也有人叫图形管线。你可以把它理解成一条工厂流水线从你给引擎一堆顶点数据开始到屏幕上出现最终像素中间要经过一长串固定或可编程的加工步骤。每个步骤都有自己的职责也有自己的性能代价。你写的Shader代码只是这条流水线上的某几个工位你调的材质参数最终也会变成流水线上的指令。这篇文章适合谁看如果你是刚入行的图形程序、TA技术美术、Unity或Unreal的开发者或者你正在准备图形学相关的面试那这篇内容会帮你把零散的知识点串成一条线。我不会只给你罗列概念而是会从实际开发中遇到的问题出发解释每个阶段为什么存在、怎么影响最终画面、以及你在写代码时应该注意什么。先给一个最粗的框架。现代实时渲染管线大致分为这几个阶段应用阶段、几何阶段、光栅化阶段、像素处理阶段。应用阶段在CPU上跑负责剔除、排序、提交Draw Call几何阶段在GPU上跑负责顶点变换、图元装配、裁剪、屏幕映射光栅化阶段把图元变成片元像素处理阶段决定每个片元最终的颜色包括深度测试、混合等。听起来很简单对吧但真正让开发者头疼的是每个阶段之间的数据传递、坐标空间变换、以及不同API比如OpenGL、DirectX、Vulkan之间的差异。我见过不少项目性能瓶颈根本不在Shader复杂度上而是在应用阶段提交了太多Draw Call或者几何阶段做了大量无效的顶点计算。如果你不理解管线你就只能靠猜来优化。而靠猜往往意味着改了半天帧率纹丝不动。2. 应用阶段CPU在忙什么为什么Draw Call这么贵2.1 剔除与排序看不见的东西就别送进GPU应用阶段是整条管线的起点也是很多性能问题的根源。这个阶段跑在CPU上主要做三件事可见性剔除、渲染状态排序、以及把数据提交给GPU。可见性剔除包括视锥剔除、遮挡剔除、背面剔除。视锥剔除最简单摄像机看不到的物体直接不提交。遮挡剔除更复杂一些需要判断物体是否被其他物体挡住。很多引擎默认只做视锥剔除遮挡剔除需要额外烘焙数据或者使用硬件遮挡查询。我个人的经验是对于室内场景遮挡剔除的收益非常大但对于开阔的室外场景收益可能不明显甚至因为查询开销导致负优化。排序的目的则是减少状态切换。GPU最怕的就是频繁切换Shader、材质、纹理。每次切换都意味着管线要重新配置这个开销在移动端尤其明显。所以引擎通常会按材质ID、渲染队列、距离等维度排序把相同状态的物体放在一起渲染。这里有一个常见的误区很多人以为Draw Call越少越好于是拼命合并网格。但合并网格会导致视锥剔除失效——一个巨大的合并网格只要有一部分在视锥内整个网格都会被提交。所以合并网格和剔除之间需要权衡。我的做法是静态小物件可以合并动态物体和大型物体尽量保持独立。2.2 渲染状态切换的代价到底有多大渲染状态包括Shader程序、纹理绑定、混合模式、深度测试开关、剔除模式等。在OpenGL和DirectX 11这类API中每次状态切换都会触发驱动层的验证和命令缓冲区的更新。在移动端比如OpenGL ES状态切换的代价可能是桌面端的几倍甚至十几倍。我实测过一组数据在一个中等复杂度的场景中如果把相同材质的物体打乱顺序渲染帧率会下降30%以上。而按材质排序后帧率恢复甚至略有提升。这个差异在低端安卓机上更加明显。所以你在组织场景时应该尽量让相同材质的物体在渲染队列中相邻。Unity的SRP Batcher和Unreal的自动排序都会帮你做这件事但前提是你的Shader变体不要太多。如果你的项目里有几百个Shader变体排序的收益就会被变体切换的开销吃掉。提示在Unity中可以通过Frame Debugger查看每个Draw Call的状态切换情况。如果发现大量SetPass Call说明状态切换过于频繁需要检查材质和Shader的组织方式。2.3 顶点数据从CPU到GPU的传输路径应用阶段最后一步是把顶点数据提交给GPU。顶点数据通常包括位置、法线、切线、UV、顶点色等。这些数据会通过总线传输到显存然后供几何阶段使用。这里的关键是数据一旦上传到GPU就应该尽量留在那里。如果你每帧都修改顶点缓冲区比如动态合批传输开销会迅速累积。动态合批适合顶点数很少的物体比如粒子、UI对于大型网格静态合批或者GPU Instancing更合适。GPU Instancing的原理是一次提交多个实例的变换矩阵GPU根据实例ID读取不同的矩阵。这样Draw Call只有一次但每个实例的顶点数据是共享的。适合大量相同网格但不同变换的物体比如草地、树木、子弹。3. 几何阶段从模型空间到屏幕空间的完整变换链3.1 顶点着色器你写的每一行代码都在这里执行顶点着色器是几何阶段的第一站也是可编程管线的核心之一。它的输入是单个顶点输出是变换后的顶点位置以及传递给后续阶段的插值数据。顶点着色器最核心的任务是坐标变换。一个顶点从模型空间到屏幕空间要经过以下变换模型变换从模型空间到世界空间使用模型矩阵Model Matrix。视图变换从世界空间到观察空间使用视图矩阵View Matrix。投影变换从观察空间到裁剪空间使用投影矩阵Projection Matrix。透视除法从裁剪空间到NDC归一化设备坐标由GPU自动完成。视口变换从NDC到屏幕空间由GPU自动完成。你写的MVP矩阵乘法实际上就是把前三步合并了。但要注意法线的变换不能用模型矩阵而要用模型矩阵的逆转置矩阵。原因很简单如果模型矩阵包含非均匀缩放法线会被扭曲。逆转置矩阵可以保证法线方向仍然垂直于表面。顶点着色器里还可以做很多事情顶点动画、顶点颜色计算、UV滚动、甚至简单的光照计算。但顶点着色器的执行频率等于顶点数所以不要在里面做太复杂的运算。一个十万面的模型顶点着色器要跑十万次。如果你在里面写了一个循环性能会直接崩掉。3.2 图元装配与裁剪三角形是怎么被“剪”出来的顶点着色器输出的是一个个独立的顶点图元装配阶段会把这些顶点按照图元类型点、线、三角形组装成完整的图元。然后进入裁剪阶段。裁剪的目的是去掉视锥体外面的部分。比如一个三角形有一部分在屏幕外裁剪阶段会把它切成多个三角形只保留屏幕内的部分。裁剪是在裁剪空间进行的判断条件是顶点的x、y、z坐标是否在[-w, w]范围内。裁剪之后是屏幕映射把NDC坐标映射到屏幕坐标。这一步会确定每个顶点在屏幕上的像素位置。这里有一个容易被忽略的点裁剪阶段会产生新的顶点。这些新顶点的属性比如颜色、UV是通过线性插值得到的。所以如果你的UV在裁剪边缘出现了拉伸可能是因为插值方式不对或者纹理寻址模式设置有问题。3.3 几何着色器与曲面细分什么时候该用什么时候是坑几何着色器Geometry Shader和曲面细分Tessellation是两个可选阶段位于顶点着色器和光栅化之间。几何着色器的特点是输入是一个图元输出可以是零个、一个或多个图元。它可以用来做粒子广告牌、毛发生成、甚至简单的阴影体积。但几何着色器的性能代价很高因为它需要重新组织图元数据而且很多GPU对它的支持并不理想。我的建议是除非你非常清楚自己在做什么否则尽量用顶点着色器或者Compute Shader替代几何着色器。曲面细分分为三个阶段外壳着色器Hull Shader、细分器Tessellator、域着色器Domain Shader。它的作用是把低模细分成高模适合做地形、角色皮肤、以及动态LOD。曲面细分的优点是可以在GPU上动态调整细节层次缺点是增加了管线的复杂度和性能开销。在移动端曲面细分的支持并不普遍所以跨平台项目要谨慎使用。4. 光栅化与像素处理片元是怎么变成最终颜色的4.1 光栅化的本质三角形如何覆盖像素光栅化阶段的任务是把屏幕空间的三角形转换成片元Fragment。片元可以理解为“候选像素”它包含了插值后的顶点属性但还没有经过深度测试和混合。光栅化的核心算法是扫描线或者边缘函数。简单来说就是判断每个像素中心是否在三角形内部。如果在就生成一个片元。片元的属性颜色、UV、法线等是通过重心坐标插值得到的。这里有一个关键概念插值方式。默认情况下顶点属性是透视校正插值也就是说距离摄像机越远的片元插值权重越小。这符合透视投影的规律。但有些属性不需要透视校正比如屏幕空间的UV。在OpenGL中可以通过noperspective限定符关闭透视校正。光栅化还会处理背面剔除。如果三角形的朝向背对摄像机并且开启了背面剔除这个三角形就不会生成任何片元。背面剔除可以显著减少片元数量尤其是封闭模型。4.2 深度测试与模板测试谁在前谁在后片元生成后首先要经过深度测试和模板测试。深度测试比较片元的深度值和深度缓冲区中的值。如果片元更靠近摄像机就通过测试并更新深度缓冲区否则丢弃。深度测试的顺序很重要先渲染不透明物体再渲染透明物体。透明物体通常关闭深度写入但保留深度测试。模板测试使用模板缓冲区可以用来做遮罩、描边、反射等效果。模板测试和深度测试可以组合使用比如先渲染一个遮罩物体写入模板值然后再渲染其他物体只保留模板值匹配的片元。这里有一个常见的性能陷阱过度绘制Overdraw。如果很多片元都被深度测试丢弃说明GPU做了大量无效的像素处理。减少过度绘制的方法包括从前往后渲染不透明物体、使用早期深度测试、以及合理使用遮挡剔除。4.3 混合与输出合并透明物体的渲染顺序为什么重要通过深度测试和模板测试的片元进入混合阶段。混合是把片元的颜色和帧缓冲区中已有的颜色按照一定规则组合。常见的混合模式包括Alpha混合、加法混合、乘法混合。Alpha混合的公式是最终颜色 源颜色 * 源Alpha 目标颜色 * (1 - 源Alpha)。这个公式决定了透明物体的渲染顺序必须是从后往前。如果顺序错了透明物体就会看起来不对劲。但即使顺序正确Alpha混合也有一个问题它不满足交换律。也就是说先渲染A再渲染B和先渲染B再渲染A结果可能不同。所以透明物体的排序非常重要。对于交叉的透明物体很难找到完美的排序这时候可能需要使用深度剥离或者顺序无关透明OIT技术。输出合并阶段还会处理抗锯齿。MSAA多重采样抗锯齿是在光栅化阶段对每个像素进行多次采样然后在输出合并阶段解析。FXAA和TAA是后处理抗锯齿在像素处理之后进行。MSAA质量高但开销大FXAA开销小但会模糊细节TAA适合动态场景但可能产生鬼影。5. 可编程与固定管线现代GPU到底哪些阶段还能改5.1 可编程阶段的边界顶点、片元、计算现代GPU的可编程阶段主要包括顶点着色器、片元着色器、计算着色器。几何着色器和曲面细分着色器也是可编程的但使用率较低。顶点着色器和片元着色器是必选的。你可以不写几何着色器也可以不写曲面细分但顶点和片元着色器是管线的核心。计算着色器不在传统管线中它是一个独立的通用计算阶段可以用来做后处理、粒子模拟、光照剔除等。每个可编程阶段都有自己的输入和输出。顶点着色器输出到图元装配片元着色器输出到混合。你不能在顶点着色器里直接访问帧缓冲区也不能在片元着色器里修改顶点位置。5.2 固定管线功能裁剪、深度测试、混合为什么不可编程裁剪、深度测试、混合这些阶段是固定功能的不可编程。原因是这些操作有明确的硬件实现而且需要极高的吞吐量。如果让开发者自由编程很难保证性能和正确性。但固定管线并不意味着你不能控制。你可以通过渲染状态来配置这些阶段。比如你可以开启或关闭深度测试设置深度比较函数选择混合模式配置裁剪平面。这些状态在OpenGL中通过glEnable、glDepthFunc、glBlendFunc等函数设置在DirectX中通过管线状态对象PSO设置。在Vulkan和DirectX 12中管线状态对象是预编译的。这意味着你可以在创建管线时指定所有固定功能状态运行时不能修改。这样做的好处是驱动可以在编译时优化管线减少运行时开销。坏处是管线状态组合爆炸需要提前规划。5.3 计算着色器绕过传统管线的新路径计算着色器Compute Shader是DirectX 11和OpenGL 4.3引入的通用计算阶段。它不在传统渲染管线中但可以读写纹理和缓冲区。计算着色器的优势在于它可以做传统管线做不了的事情比如前缀和、粒子排序、光照剔除、后处理。它的执行模型是基于线程组的每个线程组有共享内存可以高效地做数据交换。但计算着色器也有局限性。它不能直接输出到帧缓冲区需要通过纹理或缓冲区间接输出。它的性能取决于线程组的划分和内存访问模式。如果内存访问不连续性能会大幅下降。在实际项目中计算着色器常用于GPU粒子、屏幕空间反射、环境光遮蔽、以及大规模光照剔除。如果你的项目需要这些效果计算着色器是绕不开的。6. 管线知识在实战中的几个典型应用场景6.1 性能优化从管线阶段定位瓶颈性能优化最怕的就是盲目猜测。如果你知道管线每个阶段的职责就可以通过工具定位瓶颈。如果帧率低但GPU占用不高说明瓶颈在CPU也就是应用阶段。可能是Draw Call太多或者物理计算、动画计算太重。如果GPU占用高但顶点数不多说明瓶颈在片元阶段可能是过度绘制或者Shader太复杂。如果顶点数很多但片元数不多说明瓶颈在几何阶段可能是顶点着色器太复杂或者曲面细分开销太大。我常用的工具包括Unity的Profiler和Frame Debugger、Unreal的GPU Visualizer、RenderDoc、以及Xcode的GPU Capture。这些工具可以告诉你每个Draw Call的耗时、每个阶段的GPU时间、以及纹理和缓冲区的使用情况。6.2 效果实现为什么某些效果必须改管线有些效果必须修改管线才能实现。比如如果你想做自定义的抗锯齿就需要在片元着色器之后插入一个后处理阶段。如果你想做顺序无关透明就需要使用计算着色器或者深度剥离。再比如如果你想做自定义的阴影映射就需要在渲染阴影贴图时使用不同的顶点着色器和片元着色器。这涉及到管线的重新配置。理解管线的另一个好处是你知道哪些效果可以在现有管线中实现哪些需要额外扩展。比如屏幕空间反射可以在片元着色器中实现但需要访问深度缓冲和法线缓冲。如果你没有提前准备这些缓冲区就需要修改管线的输出。6.3 跨平台适配不同API的管线差异OpenGL、DirectX、Vulkan、Metal的管线模型有差异。OpenGL是状态机状态切换是全局的。DirectX 11也是状态机但引入了管线状态对象的概念。Vulkan和DirectX 12是显式API管线状态需要预编译命令缓冲区需要手动管理。这些差异会影响你的代码结构。比如在OpenGL中你可以随时修改混合模式但在Vulkan中混合模式是管线状态的一部分创建管线后不能修改。所以跨平台项目通常需要抽象一层渲染硬件接口RHI把不同API的差异封装起来。Unity的SRP和Unreal的RHI都是这样的抽象层。如果你自己写引擎也需要考虑这一点。我的建议是尽量使用引擎提供的抽象层除非你有非常特殊的需求。7. 几个容易混淆的管线概念与常见误区7.1 管线与Shader的区别别把两者混为一谈很多人把管线和Shader混为一谈。Shader只是管线中可编程阶段的程序管线还包括固定功能阶段、状态配置、以及数据流。你可以把管线想象成一条高速公路Shader是高速公路上的收费站。收费站可以有不同的规则不同的Shader但高速公路本身的结构车道、出口、入口是固定的。你不能通过修改收费站来改变高速公路的走向。理解这个区别很重要。当你遇到问题时要先判断是Shader的问题还是管线的问题。如果是Shader的问题改代码就行如果是管线的问题可能需要调整渲染顺序、修改状态配置、或者重新设计渲染流程。7.2 前向渲染与延迟渲染管线组织方式的根本差异前向渲染和延迟渲染是两种不同的管线组织方式。前向渲染是对每个物体计算所有光照然后输出颜色。优点是简单、支持透明、支持MSAA。缺点是光照计算重复如果有多个光源每个物体都要重新计算。延迟渲染是先渲染几何信息到G-Buffer包含位置、法线、材质等然后在一个全屏Pass中计算光照。优点是光照计算只做一次支持大量光源。缺点是不支持透明、MSAA开销大、G-Buffer带宽消耗高。选择哪种管线取决于你的场景。如果场景中光源很多延迟渲染更合适。如果场景中透明物体很多前向渲染更合适。很多引擎支持混合使用比如先做延迟渲染再用前向渲染处理透明物体。7.3 移动端管线的特殊限制带宽、精度、特性支持移动端GPU和桌面端GPU有本质区别。移动端是Tile-Based架构把屏幕分成小块每块在片上内存中渲染最后统一写入主内存。这种架构的优点是带宽消耗低缺点是中间结果不能太大。移动端管线的限制包括不支持几何着色器、曲面细分支持有限、浮点精度可能只有mediump、纹理采样有额外开销、以及过度绘制的影响更大。在移动端做渲染要特别注意减少G-Buffer的尺寸、避免使用高精度浮点、尽量使用前向渲染、以及严格控制透明物体的数量。我见过很多项目在桌面端跑得很好一到移动端就卡顿原因就是没有考虑Tile-Based架构的特点。8. 从管线视角看未来可编程性与固定功能的边界在移动8.1 硬件光追对传统管线的冲击硬件光线追踪Ray Tracing引入了新的管线阶段光线生成、光线相交、光线命中、以及光线未命中。这些阶段是可编程的但和传统光栅化管线是并行的。光追管线不是要取代光栅化而是和光栅化结合使用。比如你可以用光栅化渲染主要场景用光追渲染反射和阴影。这种混合管线是当前的主流做法。理解光追管线的前提是理解传统管线。因为光追管线中的很多概念比如坐标变换、插值、深度测试和传统管线是相通的。如果你连传统管线都没搞明白直接上光追只会更迷糊。8.2 网格着色器与GPU驱动渲染网格着色器Mesh Shader是DirectX 12 Ultimate和Vulkan引入的新特性。它把顶点着色器和几何着色器合并成一个阶段并且支持GPU驱动的渲染。传统管线中Draw Call由CPU提交GPU被动执行。网格着色器允许GPU自己决定渲染哪些物体从而减少CPU开销。这对于大规模场景和虚拟几何体非常有用。网格着色器的出现意味着管线的边界在移动。未来可能会有更多固定功能阶段被可编程阶段取代或者被合并。但核心的坐标变换、光栅化、深度测试这些概念不会消失。8.3 管线知识的长期价值管线知识不是一成不变的。从固定管线到可编程管线从光栅化到光追从CPU提交到GPU驱动管线一直在演化。但底层原理是稳定的坐标变换、插值、采样、混合这些概念在任何管线中都会出现。我个人的体会是花时间理解管线比花时间记API更有价值。API会过时但管线原理不会。你理解了管线就能快速上手任何新的图形API和渲染技术。最后分享一个小技巧如果你在调试一个渲染问题先画一张管线流程图标出每个阶段的输入和输出。然后问自己问题可能出现在哪个阶段这个阶段的输入是什么输出应该是什么通过对比预期和实际你往往能快速定位问题。这个方法我用了很多年比盲目改代码有效得多。