【第三部分：线性回归（Linear Regression）】

前言

3.1 什么是线性回归？
用 “预测奶茶销量” 来理解 🧋
假设你开了一家奶茶店，发现天气越热，卖的奶茶越多。你想预测明天能卖多少杯，好准备原料。
你收集了过去 7 天的数据：

提示：以下是本篇文章正文内容，下面案例可供参考

一、表格？

温度 (℃) 销量 (杯)
20 50
22 55
24 60
26 68
28 75
30 82
32 90

二、使用步骤

1.引入库

代码如下（示例）：

import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import warnings warnings.filterwarnings('ignore')import ssl ssl._create_default_https_context=ssl._create_unverified_context

这就是线性回归！
线性回归的本质：找一条直线（或者超平面），让它尽可能贴合所有数据点，然后用这条直线来预测新的数据。

3.2 线性回归的数学表达

代码如下（示例）：

3.2.1 一元线性回归（一个特征）
还是奶茶的例子，只有 “温度” 这一个特征。
该处使用的url网络请求的数据。

y = w * x + b

y：预测值（预测销量）
x：特征值（温度）
w：权重 / 斜率（温度每升高 1 度，销量增加多少）
b：偏置 / 截距（温度为 0 时的销量，数学意义，实际可能没意义）

用奶茶例子来说：
假设我们算出 w = 3.2，b = -12
那么预测公式就是：销量 = 3.2 × 温度 - 12
验证一下：
20℃：3.2×20 - 12 = 64 - 12 = 52 杯（实际 50，差 2 杯）
30℃：3.2×30 - 12 = 96 - 12 = 84 杯（实际 82，差 2 杯）
还挺准的！

3.2.2 多元线性回归（多个特征）

现实中，影响销量的不只是温度，还有星期几、有没有促销等等。
假设我们有 3 个特征：
x₁：温度
x₂：是不是周末（1 是 0 否）
x₃：有没有促销（1 是 0 否）
预测公式：

y = w₁x₁ + w₂x₂ + w₃*x₃ + b

每个特征前面都有一个权重 w，代表这个特征的重要程度：
w₁ 大 → 温度影响大
w₂ 大 → 是不是周末影响大
w₃ 大 → 促销影响大
用向量形式表示（更简洁）

y = w^T · x + b

其中 w = [w₁, w₂, w₃] 是权重向量，x = [x₁, x₂, x₃] 是特征向量。
再简化一点（把 b 也放进向量里）：
给 x 加一个恒为 1 的特征，w 加一个偏置项：
x = [1, x₁, x₂, x₃]
w = [b, w₁, w₂, w₃]

y = w^T · x

3.3 损失函数 —— 怎么衡量 “拟合得好不好”？
问题来了：怎么判断哪条直线 “最贴合” 数据？
我们需要一个量化的标准，这就是损失函数（Loss Function）。
3.3.1 什么是损失？
损失 = 预测值和真实值的差距
对于每个数据点：
真实值：y
预测值：ŷ（读作 y hat）
误差：y - ŷ
但是误差有正有负，加起来可能抵消，所以我们用平方误差：

单个样本的损失 = (y - ŷ)²

为什么用平方？ 🤔
消除正负号：平方后都是正的
放大误差：差得远的点惩罚更重（对异常点敏感）
数学好求导：平方函数求导很方便

3.3.2 均方误差（MSE）
把所有样本的损失加起来取平均，就是均方误差（Mean Squared Error）：

MSE = (1/n) * Σ(yᵢ - ŷᵢ)²

n：样本数量
yᵢ：第 i 个样本的真实值
ŷᵢ：第 i 个样本的预测值

用奶茶例子算一下：
假设我们的直线是 y = 3x - 10

3.3.3 损失函数的几何意义
把损失函数想象成一个 “山谷”：

横轴：权重 w 的取值
纵轴：损失函数的值（MSE）
形状：一个碗形（凸函数）
碗底：损失最小的地方，也就是最优解
3.4 求解方法一：最小二乘法（数学公式直接算）
线性回归有一个 “解析解”，就是可以用数学公式直接算出最优解，不用迭代。
3.4.1 推导思路
我们的目标是最小化 MSE：
plaintext
J(w) = (1/n) * Σ(yᵢ - w^T xᵢ)²
对 w 求导，令导数等于 0，就能解出最优的 w。
3.4.2 最终公式
经过矩阵求导（过程比较复杂，记住结论就行），最优权重为：
plaintext
w* = (X^T X)⁻¹ X^T y
X：特征矩阵（n 行 d 列，n 个样本，d 个特征）
y：标签向量（n 个元素）
X^T：X 的转置
(X^T X)⁻¹：X^T X 的逆矩阵
用 “奶茶例子” 验证一下（简化版）：
数据：
x = [20, 22, 24, 26, 28, 30, 32]
y = [50, 55, 60, 68, 75, 82, 90]
用最小二乘法算出来：
w ≈ 3.21
b ≈ -13.57
所以公式是：销量 = 3.21 × 温度 - 13.57
3.4.3 最小二乘法的优缺点
表格
优点 缺点
一步到位，直接算出结果 特征太多时，矩阵求逆计算量很大
不需要调参（没有学习率） 数据量太大时，内存可能不够
一定能找到全局最优解 必须满足 X^T X 可逆（有时不可逆）
什么时候用？
特征少（<1000）、数据量不大的时候
快速验证、快速出结果的时候
3.5 求解方法二：梯度下降法（迭代优化）
这是机器学习里最常用的优化方法，也是你之前学的 “皮卡丘下山”！

站在山坡上 → 找最陡的下坡方向 → 走一步 → 重复 → 直到山底

用损失函数的 “山谷” 来理解：

每一步做什么：
计算当前位置的梯度（损失函数对 w 的导数）
沿着负梯度方向走一步（更新 w）
重复，直到收敛

3.5.2 梯度下降的数学公式
权重更新公式：
plaintext
w = w - α * (∂J/∂w)
w：当前权重
α：学习率（learning rate）—— 步长多大
∂J/∂w：损失函数对 w 的梯度（导数）
减号：沿着负梯度方向
学习率 α 很重要！ 🎯

3.5.3 线性回归的梯度推导
损失函数（MSE）：
plaintext
J(w) = (1/n) * Σ(yᵢ - w^T xᵢ)²
对 w 求导（用链式法则）：
plaintext
∂J/∂w = (1/n) * Σ 2*(yᵢ - w^T xᵢ) * (-xᵢ)
= (-2/n) * Σ (yᵢ - ŷᵢ) * xᵢ
直观理解：
(yᵢ - ŷᵢ) 是预测误差
误差越大，梯度越大，步子迈得越大
xᵢ 是特征值，特征值大的影响也大
简化一下（把 2/n 的常数吸收到学习率里）：
梯度方向 = Σ (ŷᵢ - yᵢ) * xᵢ

3.5.5 用奶茶例子走一遍
数据：
x = [20, 22, 24, 26, 28, 30, 32]（温度）
y = [50, 55, 60, 68, 75, 82, 90]（销量）
初始化：
w = 0, b = 0
学习率 α = 0.001
第 1 次迭代：
计算预测值：ŷ = 0*x + 0 = 0（全是 0，很离谱）
计算误差：ŷ - y = [-50, -55, -60, -68, -75, -82, -90]
计算梯度：
∂J/∂w = (2/7) * Σ(误差 * x)
算出来大概是… 很大的一个负数
更新参数：
w = 0 - 0.001 * (很大的负数) → w 变大
b = 0 - 0.001 * (很大的负数) → b 变大
第 100 次迭代：
w ≈ 2.8, b ≈ -5
预测公式：y = 2.8x - 5
第 1000 次迭代：
w ≈ 3.2, b ≈ -13
越来越接近最优解了！
第 10000 次迭代：
w ≈ 3.21, b ≈ -13.57
基本收敛了，和最小二乘法结果一样！

3.6 三种梯度下降的对比
梯度下降有三种常见变体，各有优缺点：
3.6.1 批量梯度下降（BGD）
Batch Gradient Descent
每次迭代用全部训练数据计算梯度
优点：稳定，一定往最优方向走
缺点：数据量大时，每次迭代很慢
类比：考试前把所有题都做完一遍，才知道自己哪里错了，然后改进。

3.6.2 随机梯度下降（SGD）
Stochastic Gradient Descent
每次迭代随机选一个样本计算梯度
优点：速度快，数据量大也不怕
缺点：不稳定，路线弯弯绕绕，可能震荡
类比：做一道题就改一下，做一道改一道，方向忽左忽右，但总体还是往对的方向走。

3.6.3 小批量梯度下降（MBGD）
Mini-Batch Gradient Descent
每次迭代用一小批样本（比如 32 个、64 个）
是 BGD 和 SGD 的折中方案
优点：既快又相对稳定
深度学习里最常用！
类比：做 10 道题就改一次，既不会太慢，也不会太不稳定。

3.7 代码实现：手动实现线性回归
现在我们用 NumPy 手动实现一个线性回归，彻底搞懂每一步！
3.7.1 准备数据
python
import numpy as np

奶茶店数据：温度、销量

X = np.array([20, 22, 24, 26, 28, 30, 32], dtype=np.float32)
y = np.array([50, 55, 60, 68, 75, 82, 90], dtype=np.float32)

注意：X要变成二维矩阵（n行1列），因为机器学习的输入都是二维的

X = X.reshape(-1, 1) # 变成 (7, 1) 的形状

print(“X shape:”, X.shape) # (7, 1)
print(“y shape:”, y.shape) # (7,)
3.7.2 数据归一化（很重要！）
为什么要归一化？
温度是 20-30，销量是 50-90，数值范围不一样
如果不归一化，梯度下降会走得很别扭（“马克波过河” 的比喻）
归一化方法：Min-Max 归一化
把数据缩放到 [0, 1] 区间：
plaintext
x_norm = (x - min) / (max - min)
python

特征归一化

X_min = X.min()
X_max = X.max()
X_norm = (X - X_min) / (X_max - X_min)

标签也可以归一化（可选）

y_min = y.min()
y_max = y.max()
y_norm = (y - y_min) / (y_max - y_min)

print(“归一化后的X:”, X_norm.flatten())

[0. 0.16666667 0.33333334 0.5 0.66666669 0.83333331 1. ]

3.7.3 初始化参数
python

初始化权重和偏置

w = np.zeros(1) # 一个特征，所以一个权重
b = 0.0

学习率

learning_rate = 0.01

迭代次数

epochs = 1000

n = len(X_norm) # 样本数量
3.7.4 梯度下降训练
python
loss_history = [] # 记录每次的损失，方便画图

for epoch in range(epochs):
# 1. 前向传播：计算预测值
y_pred = np.dot(X_norm, w) + b # shape: (7,)

# 2. 计算损失（MSE） loss = np.mean((y_pred - y_norm) ** 2) loss_history.append(loss) # 3. 计算梯度 # dw = (2/n) * Σ (ŷ - y) * x dw = (2/n) * np.dot(X_norm.T, (y_pred - y_norm)) # db = (2/n) * Σ (ŷ - y) db = (2/n) * np.sum(y_pred - y_norm) # 4. 更新参数 w = w - learning_rate * dw b = b - learning_rate * db # 每100次打印一下 if (epoch + 1) % 100 == 0: print(f"Epoch {epoch+1}/{epochs}, Loss: {loss:.6f}")

print(f"\n训练完成！“)
print(f"w = {w[0]:.4f}”)
print(f"b = {b:.4f}")
输出大概是这样：
plaintext
Epoch 100/1000, Loss: 0.012345
Epoch 200/1000, Loss: 0.008765
…
Epoch 1000/1000, Loss: 0.000123

训练完成！
w = 0.9623
b = 0.0189
3.7.5 预测新数据
python

预测：明天35度，能卖多少杯？

new_temp = 35

先归一化

new_temp_norm = (new_temp - X_min) / (X_max - X_min)

预测

pred_norm = np.dot(new_temp_norm, w) + b

反归一化，还原成真实销量

pred = pred_norm * (y_max - y_min) + y_min

print(f"预测：明天{new_temp}度，能卖 {pred:.1f} 杯奶茶！")

预测：明天35度，能卖 98.5 杯奶茶！

3.7.6 完整代码封装成类
python
class LinearRegression:
definit(self, learning_rate=0.01, epochs=1000):
self.learning_rate = learning_rate
self.epochs = epochs
self.w = None
self.b = None
self.loss_history = []

def fit(self, X, y): """训练模型""" n_samples, n_features = X.shape # 初始化参数 self.w = np.zeros(n_features) self.b = 0 # 梯度下降 for _ in range(self.epochs): # 前向传播 y_pred = np.dot(X, self.w) + self.b # 计算损失 loss = np.mean((y_pred - y) ** 2) self.loss_history.append(loss) # 计算梯度 dw = (2/n_samples) * np.dot(X.T, (y_pred - y)) db = (2/n_samples) * np.sum(y_pred - y) # 更新参数 self.w -= self.learning_rate * dw self.b -= self.learning_rate * db def predict(self, X): """预测""" return np.dot(X, self.w) + self.b

使用示例

model = LinearRegression(learning_rate=0.01, epochs=1000)
model.fit(X_norm, y_norm)
predictions = model.predict(X_norm)
3.8 模型评估：怎么判断模型好不好？
训练完了，怎么知道模型好不好？
3.8.1 均方误差（MSE）
plaintext
MSE = (1/n) * Σ(yᵢ - ŷᵢ)²
越小越好
缺点：数值大小和标签的量纲有关，不好直观判断
3.8.2 均方根误差（RMSE）
plaintext
RMSE = √MSE
和标签同一个量纲，更好理解
比如 RMSE=5，说明平均差 5 杯
3.8.3 平均绝对误差（MAE）
plaintext
MAE = (1/n) * Σ|yᵢ - ŷᵢ|
用绝对值，对异常点不那么敏感
3.8.4 R² 分数（最重要！）⭐
R² 分数：决定系数，衡量模型解释了多少数据的变化。
plaintext
R² = 1 - (SS_res / SS_tot)

SS_res = Σ(yᵢ - ŷᵢ)² （残差平方和，模型没解释的部分）
SS_tot = Σ(yᵢ - ȳ)² （总平方和，数据本身的变化）
直观理解：
R² = 1：模型完美预测，所有点都在直线上
R² = 0：模型和直接预测平均值一样烂
R² < 0：模型还不如直接预测平均值
一般来说：
R² > 0.8：模型很不错
R² 在 0.5-0.8：模型还可以
R² < 0.3：模型比较差
3.9 线性回归的常见问题
3.9.1 线性回归的假设（使用前提）
线性回归不是万能的，它有几个假设：
线性关系：特征和标签之间是线性关系
如果不是线性的，线性回归就拟合不好
误差独立：样本之间的误差互不影响
比如时间序列数据，今天的误差和昨天有关，就不满足
误差同方差：误差的方差是恒定的
不能有的地方误差大，有的地方误差小
误差正态分布：误差服从正态分布
特征不相关：特征之间不能高度相关（多重共线性）
比如同时用 “身高厘米” 和 “身高米” 作为特征，就完全相关了
3.9.2 多重共线性问题
什么是多重共线性？
特征之间高度相关，比如：
特征 1：身高（厘米）
特征 2：身高（米）
这两个特征完全线性相关！
有什么问题？
权重不稳定：数据稍微变一点，权重变化很大
权重解释性差：不知道到底是哪个特征在起作用
但预测结果可能还不错
怎么解决？
删除相关的特征（留一个就行）
用 PCA 降维
用岭回归（加 L2 正则化）
3.9.3 异常值的影响
线性回归对异常值很敏感！因为用的是平方误差，异常点的误差会被放大。
例子：
本来数据点都在直线附近，突然来了一个离群点，直线就被 “拉歪” 了。
怎么解决？
检查并删除异常值（如果是数据错误）
用更鲁棒的模型（比如决策树）
用 L1 损失（MAE）代替 L2 损失（MSE）
3.10 多项式回归
线性回归只能拟合直线，那如果数据不是线性的怎么办？
答案：多项式回归！
3.10.1 什么是多项式回归？
给原始特征添加高次项，然后还是用线性回归来拟合。
例子：
原始特征只有 x，我们添加 x²、x³…
plaintext
原始：y = w₁x + b

多项式：y = w₁x + w₂x² + w₃x³ + b
虽然特征是高次的，但对权重 w 来说还是线性的，所以还是叫 “线性” 回归。
直观理解：
一次项（x）：直线
二次项（x²）：抛物线
三次项（x³）：S 形曲线
次数越高，曲线越灵活，能拟合更复杂的数据
3.10.2 过拟合问题 ⚠️
多项式次数不是越高越好！
plaintext
次数太低（欠拟合）：直线拟合曲线，误差大
●
● /
●/
/●
/ ●

次数适中：刚好拟合
●●
● ●
● ●
● ●

次数太高（过拟合）：把每个点都精准穿过，但弯弯绕绕，新数据预测不准
●●
╱ ╲
● ●
╱ ╲
● ●
过拟合：模型在训练集上表现很好，但在测试集上表现很差。
模型把训练数据的 “噪音” 也学进去了
就像学生背答案，考试遇到原题考满分，换个题就不会了
怎么解决过拟合？
增加数据量
减少特征（降低多项式次数）
正则化（后面讲）
✅ 第三部分小结
线性回归核心知识点：
表格
知识点 核心内容 关键词
什么是线性回归 找一条直线拟合数据，用来预测 直线、拟合、预测
数学表达 y = w·x + b 权重 w、偏置 b
损失函数 均方误差 MSE = (1/n)Σ(y-ŷ)² 平方误差、最小化
最小二乘法 直接用公式算最优解 解析解、矩阵求逆
梯度下降 迭代优化，一步步下山 学习率、负梯度、收敛
三种梯度下降 BGD/SGD/MBGD 批量、随机、小批量
评估指标 MSE、RMSE、MAE、R² R² 最重要，越接近 1 越好
常见问题 多重共线性、异常值、过拟合 假设、前提条件
多项式回归 添加高次项，拟合曲线 过拟合、欠拟合