从零构建机器学习知识体系：监督/无监督/半监督/强化学习4大分支核心算法图谱

从零构建机器学习知识体系：监督/无监督/半监督/强化学习4大分支核心算法图谱

引言：为什么需要系统化的机器学习知识框架？

第一次接触机器学习时，很多人会被各种算法名词淹没——SVM、K-Means、Q-Learning...这些看似孤立的算法概念，实际上存在着深刻的内在联系。就像建造房屋需要蓝图一样，掌握机器学习也需要一张清晰的"算法地图"。

本文将采用知识图谱的视角，为你揭示四大学习范式（监督学习、无监督学习、半监督学习、强化学习）之间的逻辑脉络。不同于简单的算法罗列，我们会重点分析：

  • 每种学习范式的核心思维模式（如监督学习的"教师指导" vs 强化学习的"试错探索"）
  • 典型算法之间的演化关系（如从线性回归到神经网络的进阶路径）
  • 跨范式之间的协同效应（如半监督学习如何结合监督与无监督的优势）

通过这种结构化认知，你将获得：

  1. 快速定位能力：面对新问题时能迅速判断适用算法类型
  2. 组合创新能力：理解不同范式间的组合可能性
  3. 持续学习框架：新算法出现时能自动归类到知识体系中

1. 监督学习：从"标准答案"中学习

1.1 核心范式与数学本质

监督学习的核心是输入-输出映射，用数学语言描述就是寻找函数：

f: X → Y

其中X是特征空间，Y是标签空间。这个过程依赖于风险最小化原则：

# 以线性回归为例的损失函数 def MSE_loss(y_true, y_pred): return np.mean((y_true - y_pred)**2)

关键区别在于任务类型：

  • 分类任务：Y是离散集合（如{0,1}）
  • 回归任务：Y是连续空间（如ℝ）

1.2 算法演进图谱

监督学习算法的发展呈现清晰的层次结构：

基础线性模型 ├── 线性回归 ├── 逻辑回归 │ ├── 非线性扩展 │ ├── 多项式回归 │ └── 核方法(SVM) │ └── 复杂结构学习 ├── 决策树 │ ├── 随机森林 │ └── GBDT └── 神经网络 ├── CNN ├── RNN └── Transformer

技术拐点：从线性到非线性的跨越中，核技巧与激活函数分别成为传统方法和深度学习的核心突破点

1.3 经典算法对比

算法适用任务核心思想优势局限
SVM分类最大化间隔超平面小样本效果好内存消耗大
随机森林分类/回归决策树集成抗过拟合解释性差
神经网络通用层次特征提取表征能力强需要大数据

2. 无监督学习：发现数据的内在语言

2.1 核心范式与数学表达

无监督学习致力于发现**数据分布P(X)**的内在结构，典型目标包括：

聚类：argmin{Σd(x_i, μ_k)} # 最小化类内距离 降维：z = g(x) where dim(z) << dim(x)

2.2 算法家族树

距离驱动型 ├── K-Means ├── DBSCAN │ 概率模型型 ├── GMM ├── LDA │ 流形学习 ├── t-SNE └── UMAP

关键突破：从欧式距离（K-Means）到概率建模（GMM）再到流形假设（t-SNE）的认知升级

2.3 可视化实践

# 使用UMAP进行高维数据可视化 import umap reducer = umap.UMAP(n_components=2) embedding = reducer.fit_transform(X) plt.scatter(embedding[:,0], embedding[:,1], c=labels)

3. 半监督学习：有限标注下的智慧

3.1 核心思想

巧妙利用数据分布假设：

  • 平滑假设：相近样本具有相同标签
  • 聚类假设：相同聚类中的样本共享标签
  • 流形假设：高维数据存在于低维流形

3.2 技术路线图

自训练(Self-training) ├── 初始模型训练 ├── 伪标签生成 └── 迭代优化 图方法 ├── 标签传播 └── 图卷积网络 深度半监督 ├── Π-model └── Mean Teacher

实践建议：当标注成本超过算法开发成本时，半监督学习价值开始显现

4. 强化学习：在试错中成长

4.1 马尔可夫决策过程框架

(S, A, P, R, γ) # 状态、动作、转移概率、奖励、折扣因子

4.2 算法进化史

传统RL ├── 动态规划 │ ├── 值迭代 │ └── 策略迭代 │ 现代RL ├── DQN ├── PPO └── SAC

4.3 关键公式对比

算法更新规则特点
Q-LearningQ(s,a) ← Q(s,a)+α[r+γmaxQ(s',a')-Q(s,a)]离策略
SARSAQ(s,a) ← Q(s,a)+α[r+γQ(s',a')-Q(s,a)]同策略

5. 跨范式协同创新

5.1 组合创新案例

  • 自监督学习：无监督预训练+监督微调
  • 逆强化学习：从观察中推断奖励函数
  • 模仿学习：结合示范数据与强化学习

5.2 技术融合趋势

监督学习 → 提供基准奖励 无监督学习 → 状态表征学习 强化学习 → 策略优化

实践指南：如何构建个人知识体系

  1. 建立算法卡片：为每个核心算法记录：
    • 数学形式
    • 适用场景
    • 实现示例
  2. 绘制关联图谱：使用思维导图工具展示算法关系
  3. 构建测试案例库：用相同数据集测试不同算法

最终目标不是记住所有算法，而是培养"算法选择直觉"——看到问题特征时能自然联想到相关算法家族