1. 多层神经网络基础概念

在深度学习领域，多层神经网络（Multilayer Perceptron, MLP）是最基础也是最重要的模型架构之一。作为从单层线性模型到深度神经网络的关键过渡，MLP通过引入隐藏层和非线性激活函数，显著提升了模型的表达能力。

关键理解：MLP的核心突破在于它能够学习输入特征之间的复杂交互关系，这是单层线性模型无法实现的。

1.1 从单层到多层的演进

传统的线性回归和softmax回归都属于单层神经网络，它们存在明显的局限性：

• 只能建模线性关系
• 无法捕捉特征间的复杂交互
• 对非线性可分数据表现不佳

以图像分类为例，单个像素的重要性往往取决于其周围像素的值，这种上下文相关的特性是线性模型无法表达的。

2. MLP架构详解

2.1 基本结构组成

一个典型的两层MLP包含以下组件：

1. 输入层：接收原始特征，不进行计算
2. 隐藏层：进行非线性变换的核心层
3. 输出层：产生最终预测结果

数学表达为：

H = σ(XW₁ + b₁) O = HW₂ + b₂

其中σ表示激活函数。

2.2 为什么需要非线性激活

如果没有非线性激活函数，多层网络会退化为单层线性模型：

O = (XW₁ + b₁)W₂ + b₂ = X(W₁W₂) + (b₁W₂ + b₂) = XW' + b'

这完全等价于单层变换，失去了深度网络的优势。

3. 常用激活函数对比

3.1 ReLU（修正线性单元）

最流行的激活函数，公式为：

ReLU(x) = max(0,x)

优势：

• 计算简单高效
• 缓解梯度消失问题
• 促进稀疏激活

实际经验：ReLU在大多数情况下都应作为默认选择，除非有特殊需求。

3.2 Sigmoid函数

将输入压缩到(0,1)区间：

σ(x) = 1/(1 + exp(-x))

特点：

• 输出可解释为概率
• 容易导致梯度消失
• 现在多用于输出层（二分类）

3.3 Tanh函数

双曲正切函数，输出范围(-1,1)：

tanh(x) = (1 - exp(-2x))/(1 + exp(-2x))

与sigmoid的关系：

tanh(x) = 2σ(2x) - 1

4. 实现细节与技巧

4.1 参数初始化

不同激活函数需要匹配的初始化方法：

4.2 梯度流动分析

各激活函数的梯度特性对比：

1. ReLU：

   • 正区间梯度为1，负区间为0
   • 存在"dying ReLU"问题

2. Sigmoid：

   • 最大梯度0.25（当x=0时）
   • 容易导致梯度消失

3. Tanh：

   • 最大梯度1.0（当x=0时）
   • 比sigmoid梯度流动更好

5. 实践建议与常见问题

5.1 网络深度与宽度选择

• 浅层宽网络：参数多，容易过拟合
• 深层窄网络：更难训练但泛化更好
• 经验法则：先从2-3个隐藏层开始实验

5.2 典型问题排查

1. 梯度消失：

   • 症状：底层参数更新缓慢
   • 解决方案：使用ReLU/LeakyReLU，批归一化

2. 过拟合：

   • 症状：训练误差<<测试误差
   • 解决方案：Dropout，L2正则，数据增强

3. 训练震荡：

   • 调整学习率
   • 尝试不同的优化器（如Adam）

6. 现代MLP的变体与发展

虽然基础MLP已被更复杂的架构取代，但其核心思想仍在发展中：

1. 残差连接：解决深层网络训练难题
2. 注意力机制：动态特征权重分配
3. 稀疏激活：如Swish等新激活函数

最新趋势：MLP-Mixer等纯MLP架构在视觉任务中展现出惊人性能，挑战了CNN的传统优势地位。

理解MLP的工作原理是掌握更复杂神经网络的基础。虽然现在有各种现成的深度学习框架可以轻松实现MLP，但深入理解其数学原理和实现细节，对于调试模型和解决实际问题至关重要。