这两年聊 AI绕不开算力聊算力绕不开 GPU、显存、分布式训练。但有个东西被默认成“基础设施中的基础设施”几乎没人愿意仔细讲——PCIe。它连接 CPU 与 GPU、硬盘、网卡是 AI 服务器里真正意义上的数据马路。我只用 PyTorch 写模型的时候也没觉得它重要直到开始调训练性能、看 nvidia-smi、给机器加 SSD才发现很多“卡顿”根本不是模型问题而是数据根本送不进显存。这篇文章就补上这一层基础AI 时代的算力底座PCIe 到底怎么工作以及我们该怎么用它、查它。1. AI 算力这盘棋PCIe 是那块“看不见的棋盘”1.1 一台 AI 服务器里数据到底是怎么流动的先看一台典型的单机训练服务器一颗 CPU四张 GPU几块 NVMe SSD一张或者两张高速网卡。表面上这些硬件各干各的实际上它们全部挂在同一条总线上——PCIe。你敲下python train.py之后数据路径大概是这样模型权重和训练样本先从 NVMe SSD 经 PCIe 读进内存再由 CPU 或 DMA 引擎经 PCIe 写入显存GPU 算完梯度如果要做分布式训练梯度要么走 NVLink 在卡间聚合要么经 PCIe 送到 RDMA 网卡发出去。每一步跨设备的数据搬运都在 PCIe 上过一遍。说 PCIe 是“棋盘”一点不夸张。GPU 是车是马NVMe 是粮草车网卡是传令兵但棋盘本身只有一张。谁占了多少通道、每条通道协商到什么速度直接决定整盘棋能下多大。1.2 “算力过剩、通道不足”是 AI 训练最常见的隐形瓶颈大部分人遇到训练慢第一反应是“GPU 太弱”或“模型太大”。但在很多真实场景里瓶颈根本不在计算而在 PCIe 搬运。我调过不少训练脚本有一种非常典型的现场GPU 利用率忽高忽低nvidia-smi里的 Volatile GPU-Util 只有百分之四五十但nvidia-smi dmon里的 PCIe 读写吞吐已经接近天花板。这种情况常见于数据增强太复杂、样本频繁从 CPU 内存拷到显存、或者模型需要周期性把中间结果写回磁盘。GPU 在等数据而数据还堵在 PCIe 这条路上。另一个常见场景是拿 NVMe SSD 给显存“扩容”。显存不够时有人用 Unified Memory 或者手动 swap让一部分数据住在 SSD 上。这时候 PCIe 带宽就是命根子一块 PCIe 4.0 x4 的 NVMe 标称能到 7000 MB/s但实际顺序读也就 6.8 到 7.4 GB/s受协议开销、队列深度、中断合并的影响很大。如果链路协商成 x1 或者降到 Gen3那性能直接崩。所以判断 AI 系统性能不能只看算力还得看“棋盘通道够不够宽”。这也是我后面要详细拆带宽账本的原因。2. 从根复合体到端点一张 PCIe 设备树是怎么“长”出来的2.1 两个必须记住的角色根复合体与端点理解 PCIe先记住四个名词Root Complex根复合体、Endpoint端点、Switch交换器、Port端口。Root Complex 是 PCIe 世界的“交通枢纽”CPU 一侧。它负责生成所有 CPU 对设备的访问请求也负责设备对内存的访问请求。显卡、SSD、网卡这些设备统称 Endpoint它们是真正干活的“工厂”。当设备数量太多CPU 直连的端口不够用就引入 Switch像一个分岔路口把一条上游链路扩展成多条下游链路。在 AI 服务器里CPU 内部集成了大量的 Root Port每个 Root Port 可以直连一个设备。GPU 一般直连 CPUNVMe SSD 也可能直连 CPU 或走 PCH芯片组的 PCIe 通道。这里有一个容易被忽略的知识点PCH 扩展出来的通道和 CPU 直连通道延迟和带宽不完全一样。插 GPU 时我一向建议优先插 CPU 直连槽位尽量避免经过芯片组中转。2.2 枚举和配置空间BIOS 是怎么“发现”显卡的机器上电时CPU 其实不知道插槽上是什么设备。它靠一套叫做“枚举”的流程逐个扫描 PCIe 总线给每个设备分配“门牌号”然后才能正常访问。枚举大致分几步从总线 0 开始固件先扫描每个 Root Port往配置空间里写数据、读数据判断下游是否有设备发现设备后给这条下游总线分配一个新的总线号再递归扫描看它后面是否还挂着 Switch同时读设备的 Vendor ID、Device ID、Class Code确定它是显卡、硬盘还是网卡接着配置 BAR把设备需要的内存地址空间映射到系统地址空间最后配置 MSI/MSI-X 中断、电源管理等能力。这套动作对用户是透明的但出了问题就非常难查。比如某次我插上一块新显卡启动后系统画面一直停在主板 Logo进不了系统。最后发现是固件在枚举阶段给设备分配 BAR 空间时失败——显存太大而主板默认的地址窗口不够需要去 BIOS 开启 Above 4G Decoding 和 Resizable BAR。这个后面会细讲。2.3 配置空间里值得记住的几个字段每个 PCIe 设备的配置空间有 4KB操作系统主要通过它识别设备、分配资源。重点看几个字段字段作用备注Vendor ID / Device ID设备身份比如 NVIDIA 的 Vendor ID 是 0x10DEClass Code设备类型0x03 显示控制器0x01 存储控制器BAR0 ~ BAR5设备请求的内存/IO空间固件在此填入实际地址Link Cap / Link Status链路能力与协商结果能看到 Gen 和 x 宽度Capability List能力链表MSI、PCIe、ATS 等都挂在链上实操中最常用的是lspci -vvv。如果某设备显示Unknown device通常是内核缺少对应 ID 或驱动没装如果 LnkSta 里的速度只有 2.5 GT/s说明链路协商成了 PCIe 1.0多半是信号质量或插槽接触问题。2.4 枚举失败/识别异常时按这个顺序排查我处理过不少“设备认不出来”的情况经验是按优先级排查物理接触设备没插到位、金手指脏、转接卡松动。供电显卡辅助供电没插或者插槽供电不足设备可能枚举一半就失败。固件设置BIOS 里 PCIe Link Speed 被手动限制、Above 4G 被关闭。驱动与内核lspci -nnk看是否加载了对应驱动必要时检查 dmesg。设备固件个别设备固件版本太老和新型 CPU 兼容有问题需要更新固件。先把这五层走完再谈信号完整性问题。大多数“识别异常”其实都是前两层。3. 数据包在 PCIe 上的旅程协议分层、TLP 与带宽账本3.1 三层协议栈各管一段PCIe 协议从逻辑上分为事务层、数据链路层、物理层。事务层处理的是 TLPTransaction Layer Packet也就是 CPU 和设备的“业务请求”读内存、写内存、完成传输。数据链路层负责可靠传输给 TLP 加序号和 CRC做超时重传、Ack/Nak、流控。物理层把数据拆成字节再变成串行比特流通过一对差分线发出去。这个分层到处都是真实价值在于隔离问题。链路层握手失败通常和连接有关事务层出错往往和地址映射、驱动、DMA 有关。排查问题时先看是哪一层方向就对了。3.2 TLPPCIe 世界里真正的“快递包裹”TLP 是 PCIe 的数据快递。一个 TLP 由 Header、Data可选和 ECRC可选组成。Header 里有关键信息请求类型、地址、长度、Tag。设备靠 Tag 区分这是哪一次请求的完成包。打个比方Header 是快递单Data 是货。CPU 想读显存时发一个 Memory Read TLPGPU 把数据准备好后回一个 Completion TLP。整个系统就是无数个快递包裹在 CPU、GPU、内存之间来回跑。事务层还有一种特殊的“广播式”请求叫配置读写就是第二章说的枚举阶段用来扫描设备的。它们走的是另外的地址空间普通用户不用关心但做设备驱动时要区分 Memory 空间和 Configuration 空间。3.3 带宽账本GT/s、Gbps、GB/s 别再混为一谈很多人被 PCIe 带宽绕晕是因为把单位混在一起了。GT/s 表示每秒传输的符号数Giga Transfers per second不是真正的比特Gbps 是有效比特率GB/s 是我们日常感受的字节速度。PCIe 3.0 开始采用 128b/130b 编码也就是每 130 个原始比特里只有 128 比特是有效数据。所以单条通道的带宽是PCIe 3.08 GT/s × (128/130) ≈ 7.88 Gbit/s ≈ 0.985 GB/s单通道PCIe 4.016 GT/s × (128/130) ≈ 15.75 Gbit/s ≈ 1.97 GB/s单通道PCIe 5.032 GT/s × (128/130) ≈ 31.51 Gbit/s ≈ 3.94 GB/s单通道版本单通道原始速率编码方式x16 单向理论带宽PCIe 3.08 GT/s128b/130b约 15.75 GB/sPCIe 4.016 GT/s128b/130b约 31.5 GB/sPCIe 5.032 GT/s128b/130b约 63 GB/sPCIe 6.064 GT/sPAM4 FLIT约 121 GB/s看到没有PCIe 5.0 的 x16 单向大约是 63 GB/s双向合计约 126 GB/s。这也是为什么 GPU 显存和主机内存之间大量搬运数据时PCIe 5.0 还是个重要瓶颈。3.4 为什么实测永远跑不到标称值理论带宽是算出来的实际带宽是“挤出来”的。TLP 有 Header 开销DMA 描述符、流控、链路管理也会占用带宽加上完成包的返回综合下来你能用到的有效带宽通常是理论值的 80% 到 90%。比如 PCIe 4.0 x4 的 NVMe理论约 7.88 GB/s用 fio 顺序读能到 6.8~7.4 GB/s 已经算健康。我第一次测 NVMe 时看到 6.5 GB/s还以为是 SSD 坏了反复查才发现是主板把链路协商成了 x2。这类“性能没到标称”的问题绝大多数不是硬件坏了而是协商链路宽度、驱动队列深度、中断合并、固件 Power Management 这些因素叠加的结果。3.5 顺带搞清楚 ATS 与 ATC热词里经常出现“pcie ats和atc”这是地址翻译相关的东西。ATSAddress Translation Services允许 PCIe 设备主动向 IOMMU 请求地址翻译并把结果缓存在自己的 ATCAddress Translation Cache里。简单理解以前设备做 DMA 时只能访问物理地址操作系统要先固定内存页再把物理地址告诉设备很麻烦。有了 ATS/ATC设备可以直接访问进程的虚拟地址由 IOMMU 和 ATC 做翻译和缓存。这对 GPU、SmartNIC、NVMe 这类需要高效访问大内存池的设备特别重要也是实现 Shared Virtual Memory 的基础之一。AI 场景下CUDA 的 Unified Memory 和各类异构内存方案很多背后都有这套机制的影子。4. 没有统一时钟也能同步弹性缓存与时钟架构的底层逻辑4.1 每个设备都有自己的“心跳”参考时钟与频偏PCIe 设备之间并没有一根“全局同步时钟”把大家强制对齐。每个设备都有独立的参考时钟Refclk通常 100MHz发送端用自己的时钟把数据发出去接收端从数据流里恢复时钟再采样。问题来了任何晶振都有频率误差接收端的恢复时钟和发送端的时钟不是绝对一致的。这个频率差叫频偏单位是 ppm百万分之一。如果两端长期各按各的节奏走数据早晚对不齐。那 PCIe 是怎么处理的靠弹性缓存。4.2 弹性缓存用一个 FIFO 吞下频率差弹性缓存Elastic Buffer本质是一个位于接收端物理层的 FIFO。发送端按自己的时钟把数据写入链路接收端把每个比特采进来放进 FIFO再用本地恢复的时钟从 FIFO 里读出来。正常情况下写入速率和读出速率接近但不完全相等。为了不让 FIFO 溢出或读空PCIe 在数据流里安排了专门的 SKP Ordered Set跳过序列。接收端发现自己 FIFO 快满了就“跳过”一个 SKP 字符快空了就补一个 SKP 字符。这个机制就是弹性缓存的核心通过周期性丢弃或插入预定符号把微小的频偏吸收掉。这也解释了为什么 PCIe 链路上会周期性出现“看起来没用”的字符。它们不是浪费而是时钟同步的“油门”和“刹车”。4.3 Common Clock、独立 Refclk、SRIS三种时钟架构的取舍实际系统中时钟架构主要有三种Common Clock所有设备共用一个 Refclk 源。优点是频偏小弹性缓存压力小缺点是高需布一根 100MHz 时钟到所有设备成本高。Independent Refclk每个设备自己用晶体振荡器频偏较大完全靠弹性缓存兜底。SRIS独立参考时钟加独立展频降低电磁干扰但对接收端的弹性缓存要求更高。我做硬件测试时遇到过一种情况使用独立时钟的板卡在极端温度下链路偶尔出现 CRC 错误。根本原因就是频偏超过弹性缓存调节范围导致丢字符。后来改成低抖动时钟源或者调整 SKP 参数问题就消失了。所以设计 PCIe 板卡时Refclk 方案不能拍脑袋选要和弹性缓存预算一起考虑。4.4 链路训练与降级插上显卡黑屏几秒里发生了什么PCIe 链路建立不是插上就能用要经过一个名为 LTSSM 的状态机Detect检测对方是否在线→ Polling发送训练序列→ Configuration协商速度和宽度→ L0正常工作然后根据负载进入 L0s、L1、L2 低功耗状态。链路协商速度时双方从低速开始逐级试。如果信号质量差、转接线太长、插槽氧化协商结果可能从 Gen4 降到 Gen3从 x16 降到 x8甚至更糟。这也是为什么很多网卡、显卡“性能变慢”降级是常见原因。查链路状态最简单的方法就是lspci -vvv看 LnkSta 字段的 Speed 和 Width。如果协商结果低于设备能力先怀疑物理链路质量再怀疑 BIOS 设置。5. 硬件设计里那些“差一点就翻车”的细节耦合电容、等长与接口形态5.1 发送端必须放耦合电容位置还有讲究PCIe 是交流耦合总线每个发送端引脚必须串联一个电容典型值 0.1μF。这个电容的作用是隔离发送端和接收端的直流电平允许两端工作在不同电压域也保护信号质量。重点是摆放位置耦合电容要尽量靠近发送端也就是驱动端。电容到引脚的走线越短越好否则会形成 stub对高频信号造成反射。有些人以为放哪都行结果链路训练不稳定时好时坏。这类问题用示波器看眼图很容易发现但最省事的办法就是遵守规范电容到发送端引脚的距离要小于一定长度通常可以做到 500 mil 以内。漏放电容的后果更直接链路直接训练失败。我见过有人做转接板时漏掉 PCIe 的交流耦合电容插上设备后 lspci 什么都看不到查了半天才意识到是电容问题。5.2 差分对等长哪些必须严格哪些别被“玄学”带偏PCIe 物理层用差分信号传输每一条 lane 由一对线组成P 和 N。组内 P/N 等长是必须的不等长会引入共模转换和电磁干扰规范对 P/N 偏差要求很严。但发送差分对之间也就是 lane 和 lane 之间PCIe 并没有要求严格等长。接收端有 per-lane de-skew 机制可以用弹性缓存吸收 lane 间的时序偏斜允许几十纳秒的偏差。这个问题经常有人问PCIe 的发送差分对间需不需要等长严格说不需要工程上如果空间允许最好还是尽量保持 lane 组内等长因为通道随机抖动会占用时序预算。我自己画 FPGA 板卡时习惯把 x4 的 lane 组长度差控制在 5 mil 以内P/N 对之间控制在 2~3 mil 以内。不是规范强制而是给信号完整性留余量减少后续测试返工的概率。5.3 mini PCIe 和 M.2都叫 PCIe接口却不是一个东西mini PCIe 和 M.2 是两种常见的板载接口很多人搞混。接口典型尺寸主要协议应用场景mini PCIe全高 30mm×50.95mm半高 30mm×26.8mmPCIe x1、USB、SATA旧款 WiFi 卡、4G 模块M.222mm 宽长度 30/42/60/80/110mmPCIe x2/x4、SATA、USBNVMe SSD、新 WiFi 卡M.2 靠 Key 区分功能Key M 通常走 PCIe x4SSD 常见Key E 通常走 PCIe x1 和 USBWiFi 卡常见Key B 则可能是 SATA 或 PCIe x2。物理上防呆不同硬插肯定不行。想用转接卡也要先确认协议匹配否则可能出现“接口插上了但系统不识别”的情况。5.4 x1、x4、x8、x16 插槽长度和电气通道是两回事PCIe 插槽的机械长度和电气 lane 数量并不完全对应。一张 x1 的卡物理上可以插进 x16 的槽但它只使用一个 lane。反过来x16 的显卡插进 x8 或 x4 的槽也能工作但带宽下降明显。在 AI 工作站里最靠近 CPU 的 x16 槽位通常由 CPU 直连带宽最高、延迟最低。很多主板剩余的 x16 长度插槽实际上只走 x4 电气通道而且经过芯片组。插 GPU 之前先查主板说明书别被插槽外观骗了。6. AI 场景下如何把 PCIe 调好驱动、枚举与性能定位6.1 两个最实用的命令快速看链路状态拿到一台 AI 工作站先确认所有关键设备协商状态。我最常用的就是 lspcilspci -nnk | grep -iE vga|3d|non-volatile|ethernet lspci -vvv -s 3b:00.0 | grep -E LnkCap|LnkSta|Kernel driver看 LnkCap 是设备最大能力LnkSta 是当前协商结果。比如显示LnkCap: Port #0, Speed 32GT/s, Width x16但LnkSta: Speed 32GT/s, Width x8说明宽度降级了得检查插槽、转接卡、供电。dmesg 也值得看一眼dmesg | grep -i pci启动过程中如果有 PCIe 错误比如 CRC 错误、链路 down/up日志里通常有线索。6.2 枚举阶段的坑设备“消失”、BAR 太大、Resizable BAR前面提到过 BAR 空间分配失败导致启动卡死这里展开说。显卡默认的 BAR 可能只映射一部分显存地址剩余部分通过窗口机制访问。对现代动辄 24GB、48GB 显存的 AI 卡这个窗口机制会带来额外开销。解决办法是开 BIOS 里的 Above 4G Decoding 和 Resizable BAR让设备能够把整个显存映射到系统地址空间。这个选项过去主要是游戏玩家在讨论其实对 AI 推理和训练也有影响尤其是显存访问频繁的模型。开启后 GPU 和 CPU 之间的地址翻译路径变短性能可能提升几个百分点某些场景更多。遇到“显卡能点亮但启动卡 firmware”的情况十有八九和这个选项有关。6.3 用实测判断瓶颈NVMe 和 GPU 的带宽测试确认链路协商没问题后做带宽实测才靠谱。测 NVMe 顺序读我通常用 fiofio --nameseqread --rwread --bs1M --size8G \ --iodepth32 --direct1 --filename/dev/nvme0n1如果顺序读只有标称一半先看 link 速度和宽度再看队列深度和调度策略最后考虑插槽是否走 PCH 而非 CPU 直连。测 GPU 和主机之间带宽可以用 nvidia-sminvidia-smi -q -d PCIE里面能看 GPU 当前的发送/接收吞吐。训练时如果持续打满 PCIe 吞吐就要考虑异步数据加载、把预处理放到 GPU 端、或者用更大批量来分摊搬运开销。6.4 FPGA PCIe 与 XDMAAI 推理加速器里最常见的搭档很多 AI 推理加速板是 CPU FPGA/ASIC 的组合主机通过 PCIe 和板上 DMA 引擎交换数据。Xilinx 的 XDMA 是常见实现方式但一开始用很容易卡在性能上。常见问题是DMA buffer 不是按页对齐导致内核把一次大传输拆成很多小传输中断用的 INTx 而不是 MSI-X高吞吐时中断开销巨大IOMMU 开启但没做合理配置地址翻译吃掉大量带宽。我建议做 FPGA PCIe 驱动时至少注意三点使用 MSI-X 中断DMA buffer 按 4K 页对齐尽量分配连续物理内存或使用内核提供的 DMA API在确认带宽问题前先把链路协商状态打印出来。很多人调了半天最后发现 FPGA 板卡物理链路只协商到 x1再优化驱动也没用。6.5 长期攒下来的调优习惯根据个人经验给 AI 平台的 PCIe 相关调优列一张自检清单确认所有关键设备协商到目标 Gen 和 x 宽度BIOS 开启 Above 4G Decoding 和 Resizable BAR大流量设备优先插 CPU 直连槽位热插拔设备尽量走 /sys 的 remove/rescan 流程避免直接拔插高带宽应用关闭不必要的 ASPM 电源管理定期看 dmesg 里的 PCIe AER 错误CRC 增长是信号问题的早期信号使用 PCIe Switch 扩展多设备时注意上游端口共享带宽多 GPU 并发不一定能同时跑满。这套清单帮我在实际工作里解决过很多“莫名其妙”的性能问题。大多数时候问题比想象中简单只是链路协商降级或者地址窗口没开对。我个人每次拿到一台新 AI 工作站第一件事就是 lspci 列出所有设备的链路状态确认 GPU 是 x16 Gen5、NVMe 是 x4、网卡没有掉到 x1。这个习惯帮我排查过无数次“性能没到标称”的问题。把 PCIe 这一层基础补上很多玄学就变成了可验证的工程问题。下次你的训练脚本卡在数据搬运上先看一眼 LnkSta再决定要不要怪驱动。