逻辑回归核心 ——Sigmoid 函数与完整数学推导

一句话精华:逻辑回归 = 线性回归 + Sigmoid 映射,把连续值压缩到 [0,1] 概率区间,完成二分类。

一、Sigmoid 函数:从回归到分类的桥梁

逻辑回归名字带 "回归",本质是经典二分类算法。核心就是用 Sigmoid 函数把线性回归的无穷输出映射到概率区间:

公式

三个关键特点

  1. 自变量范围:
  2. 值域:[0, 1],完美对应概率
  3. 本质:将线性回归结果映射到 [0,1],大于阈值 0.5 判为类别 1,小于则判为类别 0

二、完整数学推导链路(4 步走)

第 1 步:线性回归结果

第 2 步:带入 Sigmoid 函数

第 3 步:二分类概率表达

第 4 步:整合为一个式子

三、求解:从似然到梯度下降

1.似然函数:所有样本概率的乘积

2.取对数似然(把乘积变求和,方便求导)

3.转为损失函数(加负号,变成最小化问题)

4.梯度下降参数更新

面试常考:为什么逻辑回归不用 MSE 而用交叉熵?

答: MSE + Sigmoid 是非凸函数,容易陷入局部最优;交叉熵是凸函数,有全局唯一最优解。