导数（Derivative）快速复习笔记
1. 导数是什么？
一句话：
导数就是变化率，也是曲线在某点的切线斜率。
- 函数：y = f (x)
- 在 x = a 处的导数：f'(a) 或 dy/dx|_
几何意义：
在点 (a, f (a)) 画一条切线，这条切线的斜率就是导数。
直观理解：
当 x 变化一点点时，y 变化得有多快？
例子：
- 位移对时间的导数 = 速度
- 速度对时间的导数 = 加速度
- 成本对产量的导数 = 边际成本
- 收益对销量的导数 = 边际收益
2. 导数的性质（计算时最常用）
设 u (x), v (x) 可导，c 为常数。
-
常数的导数为 0
(c)' = 0
-
和差法则
(u + v)' = u' + v'
(u - v)' = u' - v'
-
数乘法则
(cu)' = c * u'
-
乘积法则
(uv)' = u'v + uv'
口诀：前导后不导 + 前不导后导
-
商法则
(u/v)' = (u'v - uv') /v²
口诀：上导下不导 - 上不导下导，再除以下面平方
-
链式法则（非常重要）
若 y = f (g (x))，则
y' = f'(g (x)) * g'(x)
口诀：外导乘内导
3. 如何求曲线上某点的导数？
情况 1：已知函数表达式
步骤：
- 求导函数 f'(x)
- 代入 x = a 得到 f'(a)
例子：
y = x²，求在 x = 2 处的导数
- y' = 2x
- 代入 x = 2 → y' = 4
情况 2：只有数据点（数值求导）
向前差分：
f'(x0) ≈ (y1 - y0) / (x1 - x0)
中心差分（更精确）：
f'(x0) ≈ (y1 - y_{-1}) / (x1 - x_{-1})
4. 常用求导公式（必须熟记）
幂函数
(x^n)' = n x^{n-1}
特例：
- (x)' = 1
- (x²)' = 2x
- (1/x)' = -1/x²
- (√x)' = 1/(2√x)
指数函数
(e^x)' = e^x
(a^x)' = a^x ln a
对数函数
(ln x)' = 1/x
(log_a x)' = 1/(x ln a)
三角函数
(sin x)' = cos x
(cos x)' = -sin x
(tan x)' = 1/cos²x
5. 深度学习中为什么导数很重要？
因为训练神经网络需要反向传播，而反向传播就是在不断求导。
关键问题：
梯度消失 / 梯度爆炸。
原因：
每一层的梯度都会乘上该层激活函数的导数。
如果导数：
- 小于 1 → 梯度越传越小 → 梯度消失
- 大于 1 → 梯度越传越大 → 梯度爆炸
- 等于 1 → 梯度保持不变 → 最理想
6. 为什么 sigmoid 的导数最大只有 0.25？
sigmoid 函数：
σ(x) = 1 / (1 + e^{-x})
导数：
σ'(x) = σ(x)(1 - σ(x))
因为 σ(x) ∈ (0,1)，所以 σ(x)(1 - σ(x)) 是一个二次函数，最大值出现在 σ(x) = 0.5 时。
代入得到：
最大值 = 0.5 * 0.5 = 0.25
这导致：
- 每经过一层 sigmoid，梯度至少被乘以 0.25
- 多层后梯度 → 0 → 梯度消失
7. 为什么 45° 的直线导数是 1？
斜率 = Δy / Δx
45° 时 Δy = Δx
所以斜率 = 1
导数 = 斜率 = 1
深度学习喜欢导数接近 1 的激活函数（如 ReLU）。