激活函数（Activation Function）与损失函数（Loss Function）在神经网络中扮演着完全不同的角色，它们位于模型的不同位置，服务于不同的目的。
核心区别总结如下：
| 特性 | 激活函数 (Activation Function) | 损失函数 (Loss Function) |
|---|---|---|
| 位置 | 位于神经元内部/层与层之间 | 位于网络末端（输出层之后） |
| 作用 | 引入非线性，传递信号，决定神经元是否“激活” | 衡量预测值与真实值的差异（误差） |
| 目的 | 使网络能够学习复杂模式 | 指导网络优化参数（权重和偏置） |
| 例子 | ReLU、Sigmoid、Tanh、Softmax | 均方误差 (MSE)、交叉熵 (Cross-Entropy) |
1. 激活函数（Activation Function）
激活函数是神经网络内部运作的关键组件，其主要目的是向网络引入非线性能力。
- 作用位置：位于每个神经元（节点）的输出端，或者说层与层之间。
- 核心功能：
- 引入非线性：如果没有激活函数，无论堆叠多少层神经网络，整个网络最终都只是一个大型的线性回归模型，无法解决现实世界中复杂的非线性问题。激活函数使得网络能够学习和逼近任意复杂的函数关系。
- 信号转换：它决定了当前神经元是否应该被“激活”，以及向下一层传递多强的信号。
- 例子：
- ReLU (Rectified Linear Unit)：目前最常用，简单高效。
- Sigmoid：常用于二元分类输出层，将输出压缩到 0 到 1 之间。
- Tanh：将输出压缩到 -1 到 1 之间。
2. 损失函数（Loss Function / Cost Function）
损失函数是用于评估模型性能的指标，位于网络的末端。
- 作用位置：在模型的最终预测输出与实际的真实标签（Ground Truth）之间计算。
- 核心功能：
- 量化误差：计算模型预测结果与真实结果之间的差异程度。损失值越低，模型性能越好。
- 指导优化：损失函数是反向传播算法的起点。反向传播的目标就是计算损失函数对所有参数的梯度，并通过梯度下降法最小化这个损失值。
- 例子：
- 均方误差 (MSE)：常用于回归任务，计算预测值与真实值差值的平方平均数。
- 交叉熵 (Cross-Entropy)：常用于分类任务（二元分类或多元分类）。
总结
简单来说：
- 激活函数让神经网络变得“智能”，能够学习复杂的模式。
- 损失函数告诉神经网络它犯了多大的错误，并指引它如何改进。
参考资料：
1.机器学习中常用激活函数和损失函数2. 常用激活函数/损失函数/代价函数
3.深度学习：激活函数、损失函数、优化函数的区别