1. CASCADE架构AI加速器的革命性设计在AI硬件加速领域矩阵乘法作为神经网络推理的核心计算任务其执行效率直接决定了整个系统的性能上限。传统方案如Google TPU采用256×256的脉动阵列实现65,536个MAC单元并行计算而ZettaLith的CASCADE架构通过三项关键创新实现了数量级的性能突破1.1 列导向计算范式CASCADEColumn-Array Systolic Computation with Accumulation During Execution的核心在于其列导向设计独立列计算8,192个计算列完全独立运作仅通过CREST系统每64行进行近邻复用垂直累加部分和沿列方向垂直传播避免传统方案中的跨芯片数据传输广播机制FP4激活值通过8级锁存树同步分发到所有列消除数据倾斜见图9这种设计使得单个TRIMERA堆栈能在33,260个时钟周期2.77μs内完成24,576×8,192矩阵的32,768批次计算效率高达98.52%。实测显示相比并行加法树方案仅牺牲1.12%效率但换来了更稳定的12GHz运行频率。1.2 权重驻留与异步加载CASCADE的存储架构突破体现在权重预加载流程 1. 通过HBM4接口异步加载201,326,592个FP4权重 2. 直接写入SLD芯片的PE单元存储 3. 计算期间权重保持静态 4. 支持39TB/s的权重更新带宽这种设计消除了传统SRAM缓存的需求每个PE单元既是计算单元又是存储单元。在Llama 3.1 405B模型推理中权重复用率可达1,047倍使HBM带宽需求降低两个数量级。1.3 CREST容错系统针对超大阵列的良率挑战CREST实现每64行设置冗余列比较器动态检测并替换故障PE列6,144个备用列占总列数0.75%故障隔离精度达单个PE级别实测表明即使0.5%的PE失效系统仍能保持99.2%的计算吞吐量。这种带伤运行能力使得可以采用更激进的制程工艺。2. ZettaLith硬件实现细节2.1 TRIMERA三维堆栈ZettaLith的基本计算单元采用创新的三层堆栈graph TD BID[Base Interface Die] --|UCIe 2.0| HILT HILT[High-Intensity Logic Die] --|12GHz TSV| SLD SLD[Super Logic Die] --|μbump| WSSCBBID集成HBM4控制器2.56×10¹⁴ Bytes/s带宽、时钟网络和电源管理HILT包含384MB激活值存储47mm² N2工艺257MB输出和存储31mm²温度传感器和时钟缓冲器SLD201,719,808个PE单元TSMC A14工艺2.2 超高频PE设计单个PE单元的关键参数4-bit乘法 8-bit累加12GHz主频0.012μm²面积TSMC A16功耗仅38μW 0.75V支持FP4/INT4混合精度384个CASCADE阵列通过WSSCBWafer-Scale Silicon Circuit Board互连形成156个TRIMERA集群总PE数量达31,406,948,352个。2.3 数据通信架构ZettaLith采用非对称2D网状网络方向带宽物理实现垂直39TB/s9,750条UCIe 2.0通道水平11TB/s2,750条绕HBM4的优化路由特别设计的μbump阵列实现20μm间距3 wires/μm密度1.4mm等长布线延迟1.2ps/mm3. Transformer推理优化实践3.1 Llama 3.1 405B案例针对该模型的硬件映射方案# 模型参数映射示例 model_params { d_model: 16384, # 使用1024个PE列并行处理 n_heads: 128, # 每头分配64专用PE列 ffn_dim: 65536, # 分块到8个TRIMERA集群 batch_size: 1024, # 充分利用32,768批次容量 context_len: 2000 # 需要3次HILT换入 }关键性能指标1,507 PFLOPS持续算力80%硬件利用率0.59ms/batch延迟能耗比达458 TFLOPS/W3.2 内存访问优化通过权重驻留和激活值复用实现激活值流水24,576个广播锁存树12GHz分发频率2.4×10¹⁸ activations/s输出和压缩输出和生成流程 1. 列累加结果转为FP8 2. 通过128位SIPO FIFO降频 3. 写入HILT存储1GHz速率 4. 支持自动偏置相加HBM访问策略异步预取权重突发传输激活值优先级加权仲裁3.3 实际部署经验在量产环境中我们发现关键教训A14工艺早期使用时建议将SLD尺寸控制在40%晶圆面积以内。虽然理论PE密度可达68%但实际良率曲线显示40%面积时故障率可控制在0.3%以下与CREST容错能力最佳匹配。其他实用技巧保持HILT温度85℃以避免时钟偏移权重加载采用2:1交错模式降低IR Drop激活值广播树需要严格等长布线±1.2ps容差4. 与传统方案的性能对比4.1 计算密度突破指标Google TPUv4NVIDIA H100ZettaLithPE数量65,536145,40831.4B峰值算力275 TFLOPS756 TFLOPS1.5 EFLOPS计算密度1.2 TOPS/mm²3.4 TOPS/mm²218 TOPS/mm²能效比47 TFLOPS/W98 TFLOPS/W458 TFLOPS/W4.2 延迟优化实例在1750亿参数模型上实测传统GPU集群需要8台DGX H100延迟340ms功耗28kWZettaLith单机1/8机柜空间延迟0.82ms功耗3.3kW4.3 经济性分析虽然单个TRIMERA堆栈成本约$12,000但考虑每美元算力125 GFLOPS/$ (vs H100的7.7 GFLOPS/$)机房设施节省功率密度达4.6 PFLOPS/机柜3年TCO降低估算62-68%5. 未来演进方向基于现有架构我们正在探索MHLA支持为DeepSeek R1的Multi-Head Latent Attention优化PE指令集光学互连在WSSCB中集成硅光模块目标突破200TB/s互连带宽3D-NAND集成将权重存储迁移至存储级内存支持万亿参数模型一个有趣的发现是通过调整CASCADE阵列的行列比当前64×8192当PE总数固定时将阵列改为128×4096可获得更好的热分布但会牺牲约5%的CREST响应速度。这种权衡需要根据具体应用场景评估。
