拓冰网站定制 
简介这份资源面向希望入门机器学习与人工智能的Python开发者聚焦三层反向传播神经网络这一经典监督学习算法帮助读者理解从数据预处理、网络构建到权重更新的完整实现链路。压缩包共12个文件包含6个py脚本、3个pyc编译文件、2个csv数据集和1份md说明整体约484KB脚本分别承担网络定义、梯度下降、回归与分类测试、数据加载等职责csv则提供豆瓣评分与鸢尾花两类实验数据。目前已有246人学习下载。通过阅读代码与配套说明读者可掌握前向传播、误差计算、反向传播与迭代训练的具体写法了解numpy矩阵运算、pandas数据处理及sklearn辅助工具的配合方式并借助现成数据集完成回归与分类任务的训练与评估为深入学习神经网络打下可运行的实践基础。1. 三层 BP 神经网络从公式到 Python 代码一个能跑通的起点很多做 Python 数据分析或自动化的朋友第一次接触神经网络都是从「利用 Python 实现三层 BP 神经网络」这个标题开始的。它听起来像教科书里的东西但实际落地时你会发现真正卡住你的不是反向传播的链式求导而是「输入层、隐藏层、输出层到底怎么对应到代码里的矩阵维度」。我见过太多人把公式背得滚瓜烂熟一打开编辑器就不知道W1该是几行几列。这篇文章不讲空洞的数学史只做一件事把三层 BP 从结构定义、前向传播、反向传播到参数更新用纯 Python 加 NumPy 一步步写出来让你能直接复制运行也能看清每个矩阵的维度为什么这么设。适合刚学完 Python 基础语法、想动手实现第一个神经网络的人也适合想回头补底层细节的熟手。2. 三层 BP 的结构定义输入层、隐藏层、输出层到底怎么映射2.1 为什么是「三层」而不是「多层」BP 神经网络叫「三层」通常指输入层、一个隐藏层、输出层。输入层不算计算层它只负责接收特征向量隐藏层做非线性变换输出层给出预测结果。很多人误以为层数越多越好实际上对于大多数结构化数据分类或回归任务一个隐藏层已经能逼近任意连续函数——这是万能近似定理的结论。三层结构的优势在于参数少、训练快、不容易过拟合尤其适合样本量在几千到几万级别的场景。如果你一上来就堆五六层又没有足够数据和调参经验大概率会看到损失函数震荡不下降这就是典型的「深度陷阱」。从代码角度看三层 BP 的核心就是两组权重矩阵和两组偏置向量输入到隐藏的W1、b1隐藏到输出的W2、b2。假设输入特征维度是n_in隐藏层神经元个数是n_hidden输出维度是n_out那么W1的形状是(n_in, n_hidden)b1是(n_hidden,)W2是(n_hidden, n_out)b2是(n_out,)。这个维度关系必须刻在脑子里后面所有矩阵乘法都围绕它展开。2.2 用 NumPy 初始化权重和偏置初始化不能全零否则隐藏层所有神经元会对称更新相当于只有一个神经元在工作。常见做法是使用高斯分布缩放初始化比如np.random.randn(n_in, n_hidden) * 0.01。缩放因子取 0.01 是为了让初始输出落在激活函数的线性区避免梯度饱和。下面这段代码定义了一个三层 BP 的初始化过程import numpy as np def init_params(n_in, n_hidden, n_out): # 使用小方差高斯分布初始化权重打破对称性 W1 np.random.randn(n_in, n_hidden) * 0.01 b1 np.zeros((1, n_hidden)) W2 np.random.randn(n_hidden, n_out) * 0.01 b2 np.zeros((1, n_out)) return W1, b1, W2, b2这里b1和b2初始化为零是安全的因为权重已经随机。注意b1的形状是(1, n_hidden)这样在前向传播时可以直接和X W1相加利用 NumPy 的广播机制。如果你写成(n_hidden,)加法也能工作但后续求导时容易维度对不齐建议统一用二维行向量。2.3 激活函数的选择隐藏层用 ReLU 还是 Sigmoid隐藏层激活函数决定非线性能力。Sigmoid 会把输出压缩到(0,1)在深层网络中容易梯度消失但三层结构下问题不严重。ReLU 计算简单、梯度不饱和是目前默认选择。输出层则根据任务定二分类用 Sigmoid多分类用 Softmax回归用线性恒等映射。下面给出 ReLU 和 Sigmoid 的实现def relu(z): return np.maximum(0, z) def relu_deriv(z): return (z 0).astype(float) def sigmoid(z): return 1 / (1 np.exp(-z)) def sigmoid_deriv(z): s sigmoid(z) return s * (1 - s)relu_deriv返回的是 0 或 1 的矩阵注意在z0处导数通常取 0实际影响很小。Sigmoid 的导数用输出值自身计算所以反向传播时如果已经缓存了前向的输出a可以直接用a * (1 - a)省一次计算。3. 前向传播与反向传播把链式求导写成矩阵运算3.1 前向传播一次矩阵乘法加一次激活前向传播就是输入X乘以W1加b1得到Z1过激活函数得到A1A1乘以W2加b2得到Z2再过输出层激活得到A2。假设输入X的形状是(m, n_in)m是样本数那么def forward(X, W1, b1, W2, b2): Z1 X W1 b1 # (m, n_hidden) A1 relu(Z1) # 隐藏层激活 Z2 A1 W2 b2 # (m, n_out) A2 sigmoid(Z2) # 二分类输出 cache (X, Z1, A1, Z2, A2) return A2, cache缓存cache是为了反向传播时不用重新计算。这里X W1是矩阵乘法要求X的列数等于W1的行数也就是n_in。如果你发现报错shapes not aligned九成是输入特征维度没对上。3.2 反向传播从损失函数往回推梯度以二分类交叉熵损失为例单样本损失L -[y log(a2) (1-y) log(1-a2)]。对Z2的梯度有一个非常简洁的形式dZ2 A2 - Y其中Y是真实标签矩阵形状(m, n_out)。然后def backward(cache, Y, W2): X, Z1, A1, Z2, A2 cache m X.shape[0] dZ2 A2 - Y # (m, n_out) dW2 A1.T dZ2 / m # (n_hidden, n_out) db2 np.sum(dZ2, axis0, keepdimsTrue) / m dA1 dZ2 W2.T # (m, n_hidden) dZ1 dA1 * relu_deriv(Z1) # (m, n_hidden) dW1 X.T dZ1 / m # (n_in, n_hidden) db1 np.sum(dZ1, axis0, keepdimsTrue) / m return dW1, db1, dW2, db2注意dW2用A1.T dZ2因为Z2 A1 W2 b2对W2求导要转置A1。除以m是取 batch 平均避免梯度随样本数增大。db2沿 axis0 求和再除以m保持形状(1, n_out)。这些细节如果写错训练时损失会不降反升。3.3 参数更新梯度下降的三个关键参数拿到梯度后用梯度下降更新def update_params(W1, b1, W2, b2, dW1, db1, dW2, db2, lr): W1 - lr * dW1 b1 - lr * db1 W2 - lr * dW2 b2 - lr * db2 return W1, b1, W2, b2学习率lr是最关键的参数。太大导致震荡太小收敛慢。对于标准化后的数据lr0.1到0.5通常能工作。隐藏层神经元个数n_hidden一般取输入维度的 1 到 2 倍或者 32、64、128 这类经验值。迭代次数看损失曲线通常几百到几千轮。这三个参数没有万能公式需要根据数据分布试。4. 完整训练循环与数据标准化让损失真正降下来4.1 把前向、反向、更新串成训练循环下面是一个完整的训练函数包含损失打印和准确率计算def train(X, Y, n_hidden, epochs, lr): n_in X.shape[1] n_out Y.shape[1] W1, b1, W2, b2 init_params(n_in, n_hidden, n_out) losses [] for i in range(epochs): A2, cache forward(X, W1, b1, W2, b2) # 交叉熵损失加 1e-8 防止 log(0) loss -np.mean(Y * np.log(A2 1e-8) (1 - Y) * np.log(1 - A2 1e-8)) dW1, db1, dW2, db2 backward(cache, Y, W2) W1, b1, W2, b2 update_params(W1, b1, W2, b2, dW1, db1, dW2, db2, lr) if i % 100 0: preds (A2 0.5).astype(int) acc np.mean(preds Y) print(fEpoch {i}, Loss: {loss:.4f}, Acc: {acc:.4f}) losses.append(loss) return W1, b1, W2, b2, lossesY必须是 one-hot 或二维列向量形式形状(m, n_out)。如果是二分类且Y是一维标签需要先Y Y.reshape(-1, 1)。损失里加1e-8是防止log(0)出现nan这是血泪经验不加的话训练几轮后损失突然变nan整个模型报废。4.2 数据标准化不做的后果和正确做法如果输入特征量纲差异大比如一个特征范围 0 到 1另一个 0 到 10000梯度下降会走 Z 字形收敛极慢甚至不收敛。标准化公式是X (X - mean) / std按列计算def standardize(X): mean np.mean(X, axis0, keepdimsTrue) std np.std(X, axis0, keepdimsTrue) 1e-8 return (X - mean) / std注意std加1e-8防止除零。标准化参数必须从训练集计算然后应用到验证集和测试集不能各自标准化否则数据泄露。这个坑在真实项目里非常常见很多人训练集测试集一起标准化结果线上效果暴跌。4.3 用鸢尾花数据集跑通一次二分类下面用 sklearn 加载鸢尾花数据取前两类做二分类验证整个流程from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split iris load_iris() X iris.data[:100] # 前 100 个样本是两类 y iris.target[:100].reshape(-1, 1) X standardize(X) X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) W1, b1, W2, b2, losses train(X_train, y_train, n_hidden8, epochs2000, lr0.5) # 测试集评估 A2, _ forward(X_test, W1, b1, W2, b2) preds (A2 0.5).astype(int) print(Test Accuracy:, np.mean(preds y_test))隐藏层设 8 个神经元学习率 0.52000 轮后测试准确率通常能到 95% 以上。如果准确率卡在 50% 左右先检查Y的形状和损失是否下降如果损失震荡把学习率降到 0.1 再试。5. 避坑与排查三层 BP 训练中最容易翻车的五个地方5.1 损失变成 nan 或一直不降现象训练几轮后损失打印nan或者从头到尾停在 0.69 附近不动。原因log(0)导致数值溢出或者学习率过大导致梯度爆炸。解决损失函数里加1e-8学习率从 0.1 开始试同时检查输入是否标准化。如果输入有超大值先做归一化。5.2 准确率始终 50% 左右现象二分类任务准确率等于随机猜测。原因标签Y的形状不对比如(m,)和(m,1)混用导致dZ2 A2 - Y广播出错但没报错。解决统一Y Y.reshape(-1, 1)并在训练前打印Y.shape和A2.shape确认一致。5.3 权重初始化全零导致不学习现象损失下降极慢隐藏层输出几乎相同。原因W1和W2全零初始化所有神经元对称。解决用np.random.randn(...) * 0.01初始化缩放因子不要太大否则 Sigmoid 饱和。5.4 忘记除以 batch size 导致梯度爆炸现象训练初期损失剧烈震荡参数更新幅度过大。原因dW没有除以样本数m梯度是 batch 总和而不是平均值。解决在backward里每个dW和db都除以m保持梯度尺度与学习率匹配。5.5 训练集测试集一起标准化造成数据泄露现象训练时准确率很高测试集也不错但换一批新数据效果很差。原因标准化参数用了全量数据的均值和方差测试集信息泄露到训练过程。解决只用训练集计算mean和std然后应用到测试集。这个习惯要从第一个项目就养成。6. 进阶技巧用动量法和早停让训练更稳纯梯度下降在损失曲面狭长时收敛慢加动量可以加速并抑制震荡。动量更新公式是v beta * v (1 - beta) * dW然后W - lr * v。beta通常取 0.9。下面是一个带动量的更新函数def init_momentum(W1, b1, W2, b2): return (np.zeros_like(W1), np.zeros_like(b1), np.zeros_like(W2), np.zeros_like(b2)) def update_params_momentum(W1, b1, W2, b2, dW1, db1, dW2, db2, vW1, vb1, vW2, vb2, lr, beta0.9): vW1 beta * vW1 (1 - beta) * dW1 vb1 beta * vb1 (1 - beta) * db1 vW2 beta * vW2 (1 - beta) * dW2 vb2 beta * vb2 (1 - beta) * db2 W1 - lr * vW1 b1 - lr * vb1 W2 - lr * vW2 b2 - lr * vb2 return W1, b1, W2, b2, vW1, vb1, vW2, vb2动量法在损失下降方向一致的维度上累积速度在震荡方向抵消通常比纯梯度下降快 2 到 3 倍。另一个实用技巧是早停每轮记录验证集损失如果连续 50 轮没有下降就停止训练防止过拟合。验证集从训练集里再切 10% 到 20% 出来不要用测试集调参。我自己的习惯是先用小学习率加动量跑 500 轮看损失曲线如果曲线平滑下降就加大学习率如果震荡就减小。隐藏层神经元个数从 8 开始试不够再加到 16、32。三层 BP 虽然简单但把维度、梯度、标准化这三件事做对它就能解决很多实际问题。希望帮到你。本文还有配套的精品资源点击获取 纯Python实现三层BP神经网络：从矩阵维度到训练避坑指南
简介这份资源面向希望入门机器学习与人工智能的Python开发者聚焦三层反向传播神经网络这一经典监督学习算法帮助读者理解从数据预处理、网络构建到权重更新的完整实现链路。压缩包共12个文件包含6个py脚本、3个pyc编译文件、2个csv数据集和1份md说明整体约484KB脚本分别承担网络定义、梯度下降、回归与分类测试、数据加载等职责csv则提供豆瓣评分与鸢尾花两类实验数据。目前已有246人学习下载。通过阅读代码与配套说明读者可掌握前向传播、误差计算、反向传播与迭代训练的具体写法了解numpy矩阵运算、pandas数据处理及sklearn辅助工具的配合方式并借助现成数据集完成回归与分类任务的训练与评估为深入学习神经网络打下可运行的实践基础。1. 三层 BP 神经网络从公式到 Python 代码一个能跑通的起点很多做 Python 数据分析或自动化的朋友第一次接触神经网络都是从「利用 Python 实现三层 BP 神经网络」这个标题开始的。它听起来像教科书里的东西但实际落地时你会发现真正卡住你的不是反向传播的链式求导而是「输入层、隐藏层、输出层到底怎么对应到代码里的矩阵维度」。我见过太多人把公式背得滚瓜烂熟一打开编辑器就不知道W1该是几行几列。这篇文章不讲空洞的数学史只做一件事把三层 BP 从结构定义、前向传播、反向传播到参数更新用纯 Python 加 NumPy 一步步写出来让你能直接复制运行也能看清每个矩阵的维度为什么这么设。适合刚学完 Python 基础语法、想动手实现第一个神经网络的人也适合想回头补底层细节的熟手。2. 三层 BP 的结构定义输入层、隐藏层、输出层到底怎么映射2.1 为什么是「三层」而不是「多层」BP 神经网络叫「三层」通常指输入层、一个隐藏层、输出层。输入层不算计算层它只负责接收特征向量隐藏层做非线性变换输出层给出预测结果。很多人误以为层数越多越好实际上对于大多数结构化数据分类或回归任务一个隐藏层已经能逼近任意连续函数——这是万能近似定理的结论。三层结构的优势在于参数少、训练快、不容易过拟合尤其适合样本量在几千到几万级别的场景。如果你一上来就堆五六层又没有足够数据和调参经验大概率会看到损失函数震荡不下降这就是典型的「深度陷阱」。从代码角度看三层 BP 的核心就是两组权重矩阵和两组偏置向量输入到隐藏的W1、b1隐藏到输出的W2、b2。假设输入特征维度是n_in隐藏层神经元个数是n_hidden输出维度是n_out那么W1的形状是(n_in, n_hidden)b1是(n_hidden,)W2是(n_hidden, n_out)b2是(n_out,)。这个维度关系必须刻在脑子里后面所有矩阵乘法都围绕它展开。2.2 用 NumPy 初始化权重和偏置初始化不能全零否则隐藏层所有神经元会对称更新相当于只有一个神经元在工作。常见做法是使用高斯分布缩放初始化比如np.random.randn(n_in, n_hidden) * 0.01。缩放因子取 0.01 是为了让初始输出落在激活函数的线性区避免梯度饱和。下面这段代码定义了一个三层 BP 的初始化过程import numpy as np def init_params(n_in, n_hidden, n_out): # 使用小方差高斯分布初始化权重打破对称性 W1 np.random.randn(n_in, n_hidden) * 0.01 b1 np.zeros((1, n_hidden)) W2 np.random.randn(n_hidden, n_out) * 0.01 b2 np.zeros((1, n_out)) return W1, b1, W2, b2这里b1和b2初始化为零是安全的因为权重已经随机。注意b1的形状是(1, n_hidden)这样在前向传播时可以直接和X W1相加利用 NumPy 的广播机制。如果你写成(n_hidden,)加法也能工作但后续求导时容易维度对不齐建议统一用二维行向量。2.3 激活函数的选择隐藏层用 ReLU 还是 Sigmoid隐藏层激活函数决定非线性能力。Sigmoid 会把输出压缩到(0,1)在深层网络中容易梯度消失但三层结构下问题不严重。ReLU 计算简单、梯度不饱和是目前默认选择。输出层则根据任务定二分类用 Sigmoid多分类用 Softmax回归用线性恒等映射。下面给出 ReLU 和 Sigmoid 的实现def relu(z): return np.maximum(0, z) def relu_deriv(z): return (z 0).astype(float) def sigmoid(z): return 1 / (1 np.exp(-z)) def sigmoid_deriv(z): s sigmoid(z) return s * (1 - s)relu_deriv返回的是 0 或 1 的矩阵注意在z0处导数通常取 0实际影响很小。Sigmoid 的导数用输出值自身计算所以反向传播时如果已经缓存了前向的输出a可以直接用a * (1 - a)省一次计算。3. 前向传播与反向传播把链式求导写成矩阵运算3.1 前向传播一次矩阵乘法加一次激活前向传播就是输入X乘以W1加b1得到Z1过激活函数得到A1A1乘以W2加b2得到Z2再过输出层激活得到A2。假设输入X的形状是(m, n_in)m是样本数那么def forward(X, W1, b1, W2, b2): Z1 X W1 b1 # (m, n_hidden) A1 relu(Z1) # 隐藏层激活 Z2 A1 W2 b2 # (m, n_out) A2 sigmoid(Z2) # 二分类输出 cache (X, Z1, A1, Z2, A2) return A2, cache缓存cache是为了反向传播时不用重新计算。这里X W1是矩阵乘法要求X的列数等于W1的行数也就是n_in。如果你发现报错shapes not aligned九成是输入特征维度没对上。3.2 反向传播从损失函数往回推梯度以二分类交叉熵损失为例单样本损失L -[y log(a2) (1-y) log(1-a2)]。对Z2的梯度有一个非常简洁的形式dZ2 A2 - Y其中Y是真实标签矩阵形状(m, n_out)。然后def backward(cache, Y, W2): X, Z1, A1, Z2, A2 cache m X.shape[0] dZ2 A2 - Y # (m, n_out) dW2 A1.T dZ2 / m # (n_hidden, n_out) db2 np.sum(dZ2, axis0, keepdimsTrue) / m dA1 dZ2 W2.T # (m, n_hidden) dZ1 dA1 * relu_deriv(Z1) # (m, n_hidden) dW1 X.T dZ1 / m # (n_in, n_hidden) db1 np.sum(dZ1, axis0, keepdimsTrue) / m return dW1, db1, dW2, db2注意dW2用A1.T dZ2因为Z2 A1 W2 b2对W2求导要转置A1。除以m是取 batch 平均避免梯度随样本数增大。db2沿 axis0 求和再除以m保持形状(1, n_out)。这些细节如果写错训练时损失会不降反升。3.3 参数更新梯度下降的三个关键参数拿到梯度后用梯度下降更新def update_params(W1, b1, W2, b2, dW1, db1, dW2, db2, lr): W1 - lr * dW1 b1 - lr * db1 W2 - lr * dW2 b2 - lr * db2 return W1, b1, W2, b2学习率lr是最关键的参数。太大导致震荡太小收敛慢。对于标准化后的数据lr0.1到0.5通常能工作。隐藏层神经元个数n_hidden一般取输入维度的 1 到 2 倍或者 32、64、128 这类经验值。迭代次数看损失曲线通常几百到几千轮。这三个参数没有万能公式需要根据数据分布试。4. 完整训练循环与数据标准化让损失真正降下来4.1 把前向、反向、更新串成训练循环下面是一个完整的训练函数包含损失打印和准确率计算def train(X, Y, n_hidden, epochs, lr): n_in X.shape[1] n_out Y.shape[1] W1, b1, W2, b2 init_params(n_in, n_hidden, n_out) losses [] for i in range(epochs): A2, cache forward(X, W1, b1, W2, b2) # 交叉熵损失加 1e-8 防止 log(0) loss -np.mean(Y * np.log(A2 1e-8) (1 - Y) * np.log(1 - A2 1e-8)) dW1, db1, dW2, db2 backward(cache, Y, W2) W1, b1, W2, b2 update_params(W1, b1, W2, b2, dW1, db1, dW2, db2, lr) if i % 100 0: preds (A2 0.5).astype(int) acc np.mean(preds Y) print(fEpoch {i}, Loss: {loss:.4f}, Acc: {acc:.4f}) losses.append(loss) return W1, b1, W2, b2, lossesY必须是 one-hot 或二维列向量形式形状(m, n_out)。如果是二分类且Y是一维标签需要先Y Y.reshape(-1, 1)。损失里加1e-8是防止log(0)出现nan这是血泪经验不加的话训练几轮后损失突然变nan整个模型报废。4.2 数据标准化不做的后果和正确做法如果输入特征量纲差异大比如一个特征范围 0 到 1另一个 0 到 10000梯度下降会走 Z 字形收敛极慢甚至不收敛。标准化公式是X (X - mean) / std按列计算def standardize(X): mean np.mean(X, axis0, keepdimsTrue) std np.std(X, axis0, keepdimsTrue) 1e-8 return (X - mean) / std注意std加1e-8防止除零。标准化参数必须从训练集计算然后应用到验证集和测试集不能各自标准化否则数据泄露。这个坑在真实项目里非常常见很多人训练集测试集一起标准化结果线上效果暴跌。4.3 用鸢尾花数据集跑通一次二分类下面用 sklearn 加载鸢尾花数据取前两类做二分类验证整个流程from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split iris load_iris() X iris.data[:100] # 前 100 个样本是两类 y iris.target[:100].reshape(-1, 1) X standardize(X) X_train, X_test, y_train, y_test train_test_split(X, y, test_size0.2, random_state42) W1, b1, W2, b2, losses train(X_train, y_train, n_hidden8, epochs2000, lr0.5) # 测试集评估 A2, _ forward(X_test, W1, b1, W2, b2) preds (A2 0.5).astype(int) print(Test Accuracy:, np.mean(preds y_test))隐藏层设 8 个神经元学习率 0.52000 轮后测试准确率通常能到 95% 以上。如果准确率卡在 50% 左右先检查Y的形状和损失是否下降如果损失震荡把学习率降到 0.1 再试。5. 避坑与排查三层 BP 训练中最容易翻车的五个地方5.1 损失变成 nan 或一直不降现象训练几轮后损失打印nan或者从头到尾停在 0.69 附近不动。原因log(0)导致数值溢出或者学习率过大导致梯度爆炸。解决损失函数里加1e-8学习率从 0.1 开始试同时检查输入是否标准化。如果输入有超大值先做归一化。5.2 准确率始终 50% 左右现象二分类任务准确率等于随机猜测。原因标签Y的形状不对比如(m,)和(m,1)混用导致dZ2 A2 - Y广播出错但没报错。解决统一Y Y.reshape(-1, 1)并在训练前打印Y.shape和A2.shape确认一致。5.3 权重初始化全零导致不学习现象损失下降极慢隐藏层输出几乎相同。原因W1和W2全零初始化所有神经元对称。解决用np.random.randn(...) * 0.01初始化缩放因子不要太大否则 Sigmoid 饱和。5.4 忘记除以 batch size 导致梯度爆炸现象训练初期损失剧烈震荡参数更新幅度过大。原因dW没有除以样本数m梯度是 batch 总和而不是平均值。解决在backward里每个dW和db都除以m保持梯度尺度与学习率匹配。5.5 训练集测试集一起标准化造成数据泄露现象训练时准确率很高测试集也不错但换一批新数据效果很差。原因标准化参数用了全量数据的均值和方差测试集信息泄露到训练过程。解决只用训练集计算mean和std然后应用到测试集。这个习惯要从第一个项目就养成。6. 进阶技巧用动量法和早停让训练更稳纯梯度下降在损失曲面狭长时收敛慢加动量可以加速并抑制震荡。动量更新公式是v beta * v (1 - beta) * dW然后W - lr * v。beta通常取 0.9。下面是一个带动量的更新函数def init_momentum(W1, b1, W2, b2): return (np.zeros_like(W1), np.zeros_like(b1), np.zeros_like(W2), np.zeros_like(b2)) def update_params_momentum(W1, b1, W2, b2, dW1, db1, dW2, db2, vW1, vb1, vW2, vb2, lr, beta0.9): vW1 beta * vW1 (1 - beta) * dW1 vb1 beta * vb1 (1 - beta) * db1 vW2 beta * vW2 (1 - beta) * dW2 vb2 beta * vb2 (1 - beta) * db2 W1 - lr * vW1 b1 - lr * vb1 W2 - lr * vW2 b2 - lr * vb2 return W1, b1, W2, b2, vW1, vb1, vW2, vb2动量法在损失下降方向一致的维度上累积速度在震荡方向抵消通常比纯梯度下降快 2 到 3 倍。另一个实用技巧是早停每轮记录验证集损失如果连续 50 轮没有下降就停止训练防止过拟合。验证集从训练集里再切 10% 到 20% 出来不要用测试集调参。我自己的习惯是先用小学习率加动量跑 500 轮看损失曲线如果曲线平滑下降就加大学习率如果震荡就减小。隐藏层神经元个数从 8 开始试不够再加到 16、32。三层 BP 虽然简单但把维度、梯度、标准化这三件事做对它就能解决很多实际问题。希望帮到你。本文还有配套的精品资源点击获取