tanh激活函数

tanh激活函数概述

tanh（双曲正切）激活函数是神经网络中常用的非线性激活函数之一，其输出范围在-1到1之间。数学表达式为：

$$ \text{tanh}(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} $$

特性分析

输出范围：tanh的输出范围为(-1, 1)，均值接近0，有助于中心化数据，缓解梯度消失问题。

导数计算：tanh的导数为： $$ \frac{d}{dx} \text{tanh}(x) = 1 - \text{tanh}^2(x) $$ 导数最大值为1（当x=0时），随着|x|增大逐渐趋近于0。

优缺点对比

优点：

• 输出以0为中心，梯度更新更稳定。
• 比sigmoid函数梯度更强，训练收敛更快。

缺点：

• 两端饱和区仍存在梯度消失问题。
• 计算量略高于ReLU系列函数。

适用场景

• 需要输出正负值的场景（如RNN、LSTM）。
• 隐藏层设计中对数据中心化要求较高时。
• 二分类任务的输出层（可替代sigmoid）。

代码实现示例（Python）

import numpy as np def tanh(x): return np.tanh(x) def tanh_derivative(x): return 1.0 - np.tanh(x)**2

与其他激活函数对比