拓冰网站定制 
一、这是啥玩意儿简单说这是一个用纯C标准库实现的、能训练也能推理的注意力架构模型。它不依赖PyTorch、不依赖TensorFlow、不依赖任何第三方深度学习框架只靠C标准库就跑起来了。这个项目复刻了《Dive into Deep Learning》动手学深度学习书中第11章的内容构建了一个英法机器翻译模型。更硬核的是它自主研发了一套自动求导框架——也就是说梯度的计算不是靠框架帮你算的而是你自己写的反向传播逻辑只是用了一套自动化的方式帮你管理。支持三种计算后端CPU纯C、CUDANVIDIA GPU、Apple MetalMac GPU。没有GPU没关系CPU版本也能跑只是慢一些主要用于验证正确性。二、为什么要自己从零实现现在学深度学习大家习惯了import torch然后调包。代码是短了但很多人心里的问号也没少反向传播到底怎么算的梯度是怎么从损失函数一层层传回去的计算图到底是什么东西这些问题在框架里都被封装成了黑盒。你调用loss.backward()梯度就出来了——但你真的知道它里面发生了什么吗这个项目就是为了解决这个痛点。它用C标准库从零实现了一套完整的深度学习训练框架把每一层计算、每一个梯度都赤裸裸地展示出来。看完这个项目的代码你对反向传播的理解会从我知道这个函数能算梯度升级到我能手推每一个操作的梯度公式。三、核心技术知识点3.1 计算图与反向模式自动微分这个框架的核心思想是计算图Computational Graph。你可以把一次前向传播看作是一系列数学操作的串联输入数据经过embedding、矩阵乘法、激活函数、归一化……每一步操作都是一个节点节点之间的数据流动就是边。整个计算过程就构成了一张有向无环图DAG。前向传播时框架记录下每个操作及其输入输出反向传播时沿着图的逆方向用链式法则把梯度从损失函数一层层传回给所有参数。这里的关键是反向模式自动微分Reverse-mode Automatic Differentiation。相比前向模式反向模式只需要一次前向一次反向遍历就能算出所有参数的梯度时间复杂度是O(E)E是计算图中边的数量。这就是为什么PyTorch和TensorFlow都用反向模式——因为深度网络的参数通常远多于输入维度。3.2 算子后端抽象这个项目的另一个设计亮点是后端抽象层。框架定义了一套统一的算子接口Backend Ops Interface底层可以切换不同的实现CPU后端纯C实现无依赖CUDA后端NVIDIA GPU加速Metal后端Apple Silicon GPU加速上层模型代码完全不需要关心数据到底在CPU内存还是GPU显存里。你只需要调用统一的接口框架会自动选择对应的后端执行。这种设计让同一套代码能在不同硬件上运行非常优雅。3.3 延迟执行模型Deferred Execution框架采用了一种延迟执行的策略。前向传播时不立即执行所有计算而是把操作记录到一个Action Queue操作队列里。直到需要计算梯度时才按照逆序执行反向Action。这种设计的好处是可以灵活地插入监控点、保存中间结果反向传播时可以按需计算不用保存所有中间值支持更复杂的控制流比如条件分支、循环四、架构设计思路4.1 整体分层架构整个工程从上到下分为五层┌─────────────────────────────────────┐ │ 应用层(Applications)│ │ transformer.cpp lm.cpp mnist.cpp │ ├─────────────────────────────────────┤ │ 模型层(Model/Module)│ │ Encoder/Decoder,Multi-Head │ │ Attention,Feed-Forward │ ├─────────────────────────────────────┤ │ 框架层(Core Framework)│ │ Tensor系统,计算图Node/Edge,│ │ Action Queue,自动微分 │ ├─────────────────────────────────────┤ │ 后端层(Backends)│ │ CPU Ops,CUDA Ops,Metal Ops │ ├─────────────────────────────────────┤ │ 基础设施(Common/Tools)│ │ 内存管理,数据加载,工具函数 │ └─────────────────────────────────────┘4.2 Tensor张量系统V2版本重设计V2版本对Tensor类做了彻底重构核心改进有几点预计算的Tensor依赖逻辑在运行前就分析好所有张量之间的依赖关系避免运行时重复计算依赖图。批量内存分配不再每次需要内存都调用malloc而是预先分配一大块内存池需要时从中切分。这大幅减少了内存分配的开销。紧凑内存布局数据在内存中连续存储充分利用CPU缓存行提升缓存命中率。高效的zero_grad实现传统做法是遍历所有参数逐个清零时间复杂度O(N)。这个项目用了版本号/时间戳的机制把清零操作优化到O(1)——只需更新时间戳下次需要梯度时自动跳过过期的梯度槽。4.3 计算图节点与边Node Edge这是整个自动求导系统的核心。框架采用了一种**基于边Edge**的设计每个基本操作对应一个Edge类继承自统一的Edge基类。让我直接看代码这样更直观Edge基类定义classEdge{public:virtualvoidforward()0;virtualvoidbackward(Tensor*grad)0;virtual~Edge()default;};加法操作的边classAddEdge:publicEdge{public:voidforward()override{// c a boutput-datanode_a-datanode_b-data;}voidbackward(Tensor*grad)override{// 加法的梯度两个输入的梯度都等于上游梯度node_a-gradgrad;node_b-gradgrad;}};乘法操作的边classMulEdge:publicEdge{public:voidforward()override{// c a * boutput-datanode_a-data*node_b-data;}voidbackward(Tensor*grad)override{// 链式法则da grad * b, db grad * anode_a-gradgrad*node_b-data;node_b-gradgrad*node_a-data;}};Dropout操作的边classDropoutEdge:publicEdge{public:voidforward()override{// 前向按概率丢弃神经元maskrandom_mask(keep_prob);outputnode-data*mask;}voidbackward(Tensor*grad)override{// 反向乘以mask恢复被丢弃的位置Tensor*tmpcallocTensor(grad-get_shape(),dropout_tmp);gCreateAction(newMulAction(grad,mask,tmp));gCreateAction(newAddEqAction(node-get_grad(),tmp));}private:Tensor*mask;};Embedding操作的边classEmbeddingEdge:publicEdge{public:staticEdge*create(Node*_node,Tensor*_indices){Edge*edgenewEmbeddingEdge(_node,_indices);gAddEdge(edge);returnedge;}voidforward()override{// 查表根据index从embedding矩阵中取对应的行output-dataembedding_table-data[indices-data];}voidbackward(Tensor*grad)override{// 梯度只更新被查询到的那几行// 其余行的梯度为0}};你看每个操作就是一个类forward做前向计算backward做梯度推导。整个反向传播就是沿着这些Edge的backward方法一路传回去。这种设计非常清晰——你新增一个操作只需要写两个方法就行。4.4 多头注意力机制实现注意力机制是这个架构的灵魂。多头注意力的核心步骤如下Tensor*MultiHeadAttention::forward(Tensor*query,Tensor*key,Tensor*value){// 1. Q/K/V 线性投影Tensor*Qlinear_Q(query);Tensor*Klinear_K(key);Tensor*Vlinear_V(value);// 2. 分割多头:// (batch, seq_len, d_model) -// (batch, num_heads, seq_len, d_head)Qreshape_and_transpose(Q,{batch,heads,seq_q,d_head});Kreshape_and_transpose(K,{batch,heads,seq_k,d_head});Vreshape_and_transpose(V,{batch,heads,seq_k,d_head});// 3. 缩放点积注意力// scores Q K^T / sqrt(d_head)Tensor*scoresmatmul(Q,K,transpose_Btrue)/sqrt((float)d_head);// 4. Softmax归一化 DropoutTensor*attn_weightssoftmax(scores,axis-1);attn_weightsdropout(attn_weights,dropout_rate);// 5. 注意力输出 weights VTensor*attn_outputmatmul(attn_weights,V);// 6. 拼接多头并做最终线性投影attn_outputreshape_and_transpose(attn_output,{batch,seq_q,d_model});returnlinear_output(attn_output);}关键点在于第2步的reshape和transpose。原始Q/K/V的形状是(batch_size, seq_len, d_model)我们需要把它拆成多个头。比如d_model512head数8那每个头的维度d_head64。reshape之后变成(batch, 8, seq_len, 64)这样矩阵乘法就可以在每个头上并行计算。4.5 编码器-解码器架构整个模型由编码器Encoder和解码器Decoder堆叠而成编码器块Encoder Block的流程输入 → LayerNorm → 多头自注意力 → 残差连接 → LayerNorm → 前馈神经网络(FFN)→ 残差连接 → 输出解码器块Decoder Block的流程输入 → LayerNorm → 带掩码的多头自注意力 → 残差连接 → LayerNorm → 交叉注意力(Cross-Attention)→ 残差连接 → LayerNorm → 前馈神经网络(FFN)→ 残差连接 → 输出区别在于解码器多了第二步带掩码的自注意力防止看到未来信息和交叉注意力让解码器关注编码器的输出。编码器负责把输入句子编码成一系列上下文向量解码器则一步步生成目标语言的单词。训练时用的是Teacher Forcing——解码器的输入不是自己之前生成的词而是真实的目标句子去掉最后一个词这样训练更稳定。五、环境配置与运行测试教程5.1 编译构建GPU版本需要CUDA环境./build_gpu.sh编译出的程序同时支持CPU和GPU运行用-g参数切换设备。CPU版本没有CUDA环境也能跑./build_cpu.sh注意CPU版本是单线程的没有用OpenMP做并行优化所以训练会比较慢。但它的主要用途是和GPU版本做正确性对比验证。Mac GPU版本Apple Silicon./build_mac_gpu.sh# 使用Metal加速./build_mac_cpu.sh# CPU版本5.2 翻译任务训练项目使用Dive into Deep Learning第11章的Transformer实验设置用512对英法翻译句子训练。训练命令./transformer-e30训练过程输出corpus:.fra_preprocessed_512.txt epochs:30batch_size:128gpu:1learning rate:0.001enc_vocab_size:195dec_vocab_size:214bos_id:3eos_id:1epoch0:[512/512]loss:4.62015epoch5:[512/512]loss:1.94157epoch10:[512/512]loss:1.23456epoch15:[512/512]loss:0.797028epoch20:[512/512]loss:0.580065epoch25:[512/512]loss:0.456417epoch29:[512/512]loss:0.395327checkpoint saved:./checkpoints/checkpoint_20250603_111836_29.bin real0m44.835s user0m44.531s sys0m0.272s30个epoch在GPU上只需要约45秒损失值从4.62降到了0.395收敛速度很快。5.3 翻译推理测试加载训练好的模型进行翻译推理./transformer-e0-c./checkpoints/checkpoint_20250603_111836_29.bin推理结果serving mode test file:.test.txt go.-va.i lost.-jai perdu.hes calm.-il est mouillé.im home.-je suis chez moi.翻译效果相当不错虽然训练数据只有512对句子但模型已经学会了基本的英法翻译。5.4 语言模型训练项目还支持用两层Decoder构建语言模型在Time Machine语料上训练./lm-e10-m256训练过程corpus: .timemachine_preprocessed.txt epochs: 10 batch_size: 16 gpu: 1 max_words_cnt: 256 Allocating memory for tensors: 36609236 bytes, for c_tensors: 3194706328 bytes for grad_tensors: 1241779004 bytes epoch 0: [224/256] loss: 5.54111 epoch 1: [224/256] loss: 1.36544 epoch 2: [224/256] loss: 0.178868 epoch 3: [224/256] loss: 0.0472531 epoch 4: [224/256] loss: 0.0245251 epoch 5: [224/256] loss: 0.0195127 ... epoch 9: [224/256] loss: 0.0147902 checkpoint saved: ./checkpoints/checkpoint_20250608_200259_9.bin推理生成文本sentence: the time machine by h g wells i the time traveller for so it will be convenient to speak of him was expounding a recondite matter to us his grey eyes shone and twinkled and his usually pale face was flushed and animated the fire burned brightly and animated the fire burned brightly注意看那个内存分配的输出——光是梯度张量就占了约1.2GB这说明即使是一个小模型梯度存储的开销也不小。这也是为什么实际训练中常用混合精度训练来减少内存占用。5.5 手写数字识别验证为了快速验证框架基础功能是否正确项目还提供了一个MNIST手写数字识别的程序./handwritten_recognition输出images magic: 2051 label magic: 2049 lables_num: 60000 data loaded. Actions: ... evaluating: [10000/10000] correct: 9501 epoch: 9 [50000/50000] loss: 0.150985 evaluating: [10000/10000] correct: 94939个epoch达到94.93%的准确率验证了框架的前向传播和反向传播逻辑是正确的。5.6 计算图可视化项目支持Graphviz可视化计算图拓扑结构。在代码中插入printAllActions();printDotGraph();// 输出out.dot文件然后用Graphviz转换dot-Tpngout.dot-oout.png就能生成一张计算图的可视化图片直观地看到张量在各个操作之间流动的拓扑结构。这对调试和理解模型结构非常有帮助。六、落地用途这个框架虽然规模不大但有几个很实用的场景1. 深度学习教学如果你想给学生讲反向传播用这个框架的代码比任何PPT都直观。每个操作的梯度公式都写在对应的backward方法里学生可以逐行跟踪梯度的流动。2. 嵌入式/边缘部署零外部依赖意味着你可以把这套代码直接嵌入到任何C项目中不需要安装PyTorch那种几百兆的运行时。在资源受限的设备上跑一个小模型这个框架非常合适。3. 算法研究原型验证当你有一个新的网络结构想法不想被框架的抽象层限制时用这套代码可以快速搭出原型。特别是它的Edge设计新增一个操作非常简单。4. 面试准备面试经常被问反向传播原理。如果你能从头手写一套自动求导框架面试官绝对刮目相看。5. 性能调优学习通过对比CPU/GPU/Metal三种后端的性能差异你可以深入理解不同硬件架构对深度学习计算的影响以及算子融合、内存布局优化等技巧的实际效果。If you need the complete source code, please add the WeChat number (c17865354792)七、总结这个项目最核心价值在于祛魅——把大模型从黑盒变成白盒。它告诉你所谓的深度学习框架剥去华丽的外衣后本质上就是几样东西的组合张量运算 计算图 自动微分 优化器。当你亲手写过一遍反向传播的每一个公式再去看PyTorch的loss.backward()感觉会完全不一样——你不再是一个调包侠而是真正理解了这个工具在做什么。当然这个项目在性能上没法和工业级框架比没有用BLAS优化、没有GPU内核调优、没有分布式训练支持但它的价值不在于跑得多快而在于让你看清每一行计算背后的数学原理。如果你正在学习深度学习或者想彻底搞懂Transformer这类架构的底层实现这个项目绝对值得你花时间去读一读、跑一跑。毕竟自己动手写一遍比你读十篇科普文章都管用。Welcome to follow WeChat official account【程序猿编码】 纯 C++ 实现 Transformer 训练 + 推理，只靠 C++ 标准库能做到吗？
一、这是啥玩意儿简单说这是一个用纯C标准库实现的、能训练也能推理的注意力架构模型。它不依赖PyTorch、不依赖TensorFlow、不依赖任何第三方深度学习框架只靠C标准库就跑起来了。这个项目复刻了《Dive into Deep Learning》动手学深度学习书中第11章的内容构建了一个英法机器翻译模型。更硬核的是它自主研发了一套自动求导框架——也就是说梯度的计算不是靠框架帮你算的而是你自己写的反向传播逻辑只是用了一套自动化的方式帮你管理。支持三种计算后端CPU纯C、CUDANVIDIA GPU、Apple MetalMac GPU。没有GPU没关系CPU版本也能跑只是慢一些主要用于验证正确性。二、为什么要自己从零实现现在学深度学习大家习惯了import torch然后调包。代码是短了但很多人心里的问号也没少反向传播到底怎么算的梯度是怎么从损失函数一层层传回去的计算图到底是什么东西这些问题在框架里都被封装成了黑盒。你调用loss.backward()梯度就出来了——但你真的知道它里面发生了什么吗这个项目就是为了解决这个痛点。它用C标准库从零实现了一套完整的深度学习训练框架把每一层计算、每一个梯度都赤裸裸地展示出来。看完这个项目的代码你对反向传播的理解会从我知道这个函数能算梯度升级到我能手推每一个操作的梯度公式。三、核心技术知识点3.1 计算图与反向模式自动微分这个框架的核心思想是计算图Computational Graph。你可以把一次前向传播看作是一系列数学操作的串联输入数据经过embedding、矩阵乘法、激活函数、归一化……每一步操作都是一个节点节点之间的数据流动就是边。整个计算过程就构成了一张有向无环图DAG。前向传播时框架记录下每个操作及其输入输出反向传播时沿着图的逆方向用链式法则把梯度从损失函数一层层传回给所有参数。这里的关键是反向模式自动微分Reverse-mode Automatic Differentiation。相比前向模式反向模式只需要一次前向一次反向遍历就能算出所有参数的梯度时间复杂度是O(E)E是计算图中边的数量。这就是为什么PyTorch和TensorFlow都用反向模式——因为深度网络的参数通常远多于输入维度。3.2 算子后端抽象这个项目的另一个设计亮点是后端抽象层。框架定义了一套统一的算子接口Backend Ops Interface底层可以切换不同的实现CPU后端纯C实现无依赖CUDA后端NVIDIA GPU加速Metal后端Apple Silicon GPU加速上层模型代码完全不需要关心数据到底在CPU内存还是GPU显存里。你只需要调用统一的接口框架会自动选择对应的后端执行。这种设计让同一套代码能在不同硬件上运行非常优雅。3.3 延迟执行模型Deferred Execution框架采用了一种延迟执行的策略。前向传播时不立即执行所有计算而是把操作记录到一个Action Queue操作队列里。直到需要计算梯度时才按照逆序执行反向Action。这种设计的好处是可以灵活地插入监控点、保存中间结果反向传播时可以按需计算不用保存所有中间值支持更复杂的控制流比如条件分支、循环四、架构设计思路4.1 整体分层架构整个工程从上到下分为五层┌─────────────────────────────────────┐ │ 应用层(Applications)│ │ transformer.cpp lm.cpp mnist.cpp │ ├─────────────────────────────────────┤ │ 模型层(Model/Module)│ │ Encoder/Decoder,Multi-Head │ │ Attention,Feed-Forward │ ├─────────────────────────────────────┤ │ 框架层(Core Framework)│ │ Tensor系统,计算图Node/Edge,│ │ Action Queue,自动微分 │ ├─────────────────────────────────────┤ │ 后端层(Backends)│ │ CPU Ops,CUDA Ops,Metal Ops │ ├─────────────────────────────────────┤ │ 基础设施(Common/Tools)│ │ 内存管理,数据加载,工具函数 │ └─────────────────────────────────────┘4.2 Tensor张量系统V2版本重设计V2版本对Tensor类做了彻底重构核心改进有几点预计算的Tensor依赖逻辑在运行前就分析好所有张量之间的依赖关系避免运行时重复计算依赖图。批量内存分配不再每次需要内存都调用malloc而是预先分配一大块内存池需要时从中切分。这大幅减少了内存分配的开销。紧凑内存布局数据在内存中连续存储充分利用CPU缓存行提升缓存命中率。高效的zero_grad实现传统做法是遍历所有参数逐个清零时间复杂度O(N)。这个项目用了版本号/时间戳的机制把清零操作优化到O(1)——只需更新时间戳下次需要梯度时自动跳过过期的梯度槽。4.3 计算图节点与边Node Edge这是整个自动求导系统的核心。框架采用了一种**基于边Edge**的设计每个基本操作对应一个Edge类继承自统一的Edge基类。让我直接看代码这样更直观Edge基类定义classEdge{public:virtualvoidforward()0;virtualvoidbackward(Tensor*grad)0;virtual~Edge()default;};加法操作的边classAddEdge:publicEdge{public:voidforward()override{// c a boutput-datanode_a-datanode_b-data;}voidbackward(Tensor*grad)override{// 加法的梯度两个输入的梯度都等于上游梯度node_a-gradgrad;node_b-gradgrad;}};乘法操作的边classMulEdge:publicEdge{public:voidforward()override{// c a * boutput-datanode_a-data*node_b-data;}voidbackward(Tensor*grad)override{// 链式法则da grad * b, db grad * anode_a-gradgrad*node_b-data;node_b-gradgrad*node_a-data;}};Dropout操作的边classDropoutEdge:publicEdge{public:voidforward()override{// 前向按概率丢弃神经元maskrandom_mask(keep_prob);outputnode-data*mask;}voidbackward(Tensor*grad)override{// 反向乘以mask恢复被丢弃的位置Tensor*tmpcallocTensor(grad-get_shape(),dropout_tmp);gCreateAction(newMulAction(grad,mask,tmp));gCreateAction(newAddEqAction(node-get_grad(),tmp));}private:Tensor*mask;};Embedding操作的边classEmbeddingEdge:publicEdge{public:staticEdge*create(Node*_node,Tensor*_indices){Edge*edgenewEmbeddingEdge(_node,_indices);gAddEdge(edge);returnedge;}voidforward()override{// 查表根据index从embedding矩阵中取对应的行output-dataembedding_table-data[indices-data];}voidbackward(Tensor*grad)override{// 梯度只更新被查询到的那几行// 其余行的梯度为0}};你看每个操作就是一个类forward做前向计算backward做梯度推导。整个反向传播就是沿着这些Edge的backward方法一路传回去。这种设计非常清晰——你新增一个操作只需要写两个方法就行。4.4 多头注意力机制实现注意力机制是这个架构的灵魂。多头注意力的核心步骤如下Tensor*MultiHeadAttention::forward(Tensor*query,Tensor*key,Tensor*value){// 1. Q/K/V 线性投影Tensor*Qlinear_Q(query);Tensor*Klinear_K(key);Tensor*Vlinear_V(value);// 2. 分割多头:// (batch, seq_len, d_model) -// (batch, num_heads, seq_len, d_head)Qreshape_and_transpose(Q,{batch,heads,seq_q,d_head});Kreshape_and_transpose(K,{batch,heads,seq_k,d_head});Vreshape_and_transpose(V,{batch,heads,seq_k,d_head});// 3. 缩放点积注意力// scores Q K^T / sqrt(d_head)Tensor*scoresmatmul(Q,K,transpose_Btrue)/sqrt((float)d_head);// 4. Softmax归一化 DropoutTensor*attn_weightssoftmax(scores,axis-1);attn_weightsdropout(attn_weights,dropout_rate);// 5. 注意力输出 weights VTensor*attn_outputmatmul(attn_weights,V);// 6. 拼接多头并做最终线性投影attn_outputreshape_and_transpose(attn_output,{batch,seq_q,d_model});returnlinear_output(attn_output);}关键点在于第2步的reshape和transpose。原始Q/K/V的形状是(batch_size, seq_len, d_model)我们需要把它拆成多个头。比如d_model512head数8那每个头的维度d_head64。reshape之后变成(batch, 8, seq_len, 64)这样矩阵乘法就可以在每个头上并行计算。4.5 编码器-解码器架构整个模型由编码器Encoder和解码器Decoder堆叠而成编码器块Encoder Block的流程输入 → LayerNorm → 多头自注意力 → 残差连接 → LayerNorm → 前馈神经网络(FFN)→ 残差连接 → 输出解码器块Decoder Block的流程输入 → LayerNorm → 带掩码的多头自注意力 → 残差连接 → LayerNorm → 交叉注意力(Cross-Attention)→ 残差连接 → LayerNorm → 前馈神经网络(FFN)→ 残差连接 → 输出区别在于解码器多了第二步带掩码的自注意力防止看到未来信息和交叉注意力让解码器关注编码器的输出。编码器负责把输入句子编码成一系列上下文向量解码器则一步步生成目标语言的单词。训练时用的是Teacher Forcing——解码器的输入不是自己之前生成的词而是真实的目标句子去掉最后一个词这样训练更稳定。五、环境配置与运行测试教程5.1 编译构建GPU版本需要CUDA环境./build_gpu.sh编译出的程序同时支持CPU和GPU运行用-g参数切换设备。CPU版本没有CUDA环境也能跑./build_cpu.sh注意CPU版本是单线程的没有用OpenMP做并行优化所以训练会比较慢。但它的主要用途是和GPU版本做正确性对比验证。Mac GPU版本Apple Silicon./build_mac_gpu.sh# 使用Metal加速./build_mac_cpu.sh# CPU版本5.2 翻译任务训练项目使用Dive into Deep Learning第11章的Transformer实验设置用512对英法翻译句子训练。训练命令./transformer-e30训练过程输出corpus:.fra_preprocessed_512.txt epochs:30batch_size:128gpu:1learning rate:0.001enc_vocab_size:195dec_vocab_size:214bos_id:3eos_id:1epoch0:[512/512]loss:4.62015epoch5:[512/512]loss:1.94157epoch10:[512/512]loss:1.23456epoch15:[512/512]loss:0.797028epoch20:[512/512]loss:0.580065epoch25:[512/512]loss:0.456417epoch29:[512/512]loss:0.395327checkpoint saved:./checkpoints/checkpoint_20250603_111836_29.bin real0m44.835s user0m44.531s sys0m0.272s30个epoch在GPU上只需要约45秒损失值从4.62降到了0.395收敛速度很快。5.3 翻译推理测试加载训练好的模型进行翻译推理./transformer-e0-c./checkpoints/checkpoint_20250603_111836_29.bin推理结果serving mode test file:.test.txt go.-va.i lost.-jai perdu.hes calm.-il est mouillé.im home.-je suis chez moi.翻译效果相当不错虽然训练数据只有512对句子但模型已经学会了基本的英法翻译。5.4 语言模型训练项目还支持用两层Decoder构建语言模型在Time Machine语料上训练./lm-e10-m256训练过程corpus: .timemachine_preprocessed.txt epochs: 10 batch_size: 16 gpu: 1 max_words_cnt: 256 Allocating memory for tensors: 36609236 bytes, for c_tensors: 3194706328 bytes for grad_tensors: 1241779004 bytes epoch 0: [224/256] loss: 5.54111 epoch 1: [224/256] loss: 1.36544 epoch 2: [224/256] loss: 0.178868 epoch 3: [224/256] loss: 0.0472531 epoch 4: [224/256] loss: 0.0245251 epoch 5: [224/256] loss: 0.0195127 ... epoch 9: [224/256] loss: 0.0147902 checkpoint saved: ./checkpoints/checkpoint_20250608_200259_9.bin推理生成文本sentence: the time machine by h g wells i the time traveller for so it will be convenient to speak of him was expounding a recondite matter to us his grey eyes shone and twinkled and his usually pale face was flushed and animated the fire burned brightly and animated the fire burned brightly注意看那个内存分配的输出——光是梯度张量就占了约1.2GB这说明即使是一个小模型梯度存储的开销也不小。这也是为什么实际训练中常用混合精度训练来减少内存占用。5.5 手写数字识别验证为了快速验证框架基础功能是否正确项目还提供了一个MNIST手写数字识别的程序./handwritten_recognition输出images magic: 2051 label magic: 2049 lables_num: 60000 data loaded. Actions: ... evaluating: [10000/10000] correct: 9501 epoch: 9 [50000/50000] loss: 0.150985 evaluating: [10000/10000] correct: 94939个epoch达到94.93%的准确率验证了框架的前向传播和反向传播逻辑是正确的。5.6 计算图可视化项目支持Graphviz可视化计算图拓扑结构。在代码中插入printAllActions();printDotGraph();// 输出out.dot文件然后用Graphviz转换dot-Tpngout.dot-oout.png就能生成一张计算图的可视化图片直观地看到张量在各个操作之间流动的拓扑结构。这对调试和理解模型结构非常有帮助。六、落地用途这个框架虽然规模不大但有几个很实用的场景1. 深度学习教学如果你想给学生讲反向传播用这个框架的代码比任何PPT都直观。每个操作的梯度公式都写在对应的backward方法里学生可以逐行跟踪梯度的流动。2. 嵌入式/边缘部署零外部依赖意味着你可以把这套代码直接嵌入到任何C项目中不需要安装PyTorch那种几百兆的运行时。在资源受限的设备上跑一个小模型这个框架非常合适。3. 算法研究原型验证当你有一个新的网络结构想法不想被框架的抽象层限制时用这套代码可以快速搭出原型。特别是它的Edge设计新增一个操作非常简单。4. 面试准备面试经常被问反向传播原理。如果你能从头手写一套自动求导框架面试官绝对刮目相看。5. 性能调优学习通过对比CPU/GPU/Metal三种后端的性能差异你可以深入理解不同硬件架构对深度学习计算的影响以及算子融合、内存布局优化等技巧的实际效果。If you need the complete source code, please add the WeChat number (c17865354792)七、总结这个项目最核心价值在于祛魅——把大模型从黑盒变成白盒。它告诉你所谓的深度学习框架剥去华丽的外衣后本质上就是几样东西的组合张量运算 计算图 自动微分 优化器。当你亲手写过一遍反向传播的每一个公式再去看PyTorch的loss.backward()感觉会完全不一样——你不再是一个调包侠而是真正理解了这个工具在做什么。当然这个项目在性能上没法和工业级框架比没有用BLAS优化、没有GPU内核调优、没有分布式训练支持但它的价值不在于跑得多快而在于让你看清每一行计算背后的数学原理。如果你正在学习深度学习或者想彻底搞懂Transformer这类架构的底层实现这个项目绝对值得你花时间去读一读、跑一跑。毕竟自己动手写一遍比你读十篇科普文章都管用。Welcome to follow WeChat official account【程序猿编码】