人工智能基础

文章目录

    • 一、机器学习四大学习范式
    • 二、从人工智能到大模型的演变脉络
    • 三、机器学习算法与任务分类
      • 3.1 监督学习（带标签数据）
        • 3.1.1 分类任务（输出离散类别）
        • 3.1.2 回归任务（输出连续数值）
      • 3.2 无监督学习（无标签数据）
        • 3.2.1 聚类任务（样本自动分组）
        • 3.2.2 关联规则挖掘（发现共现模式）
        • 3.2.3 降维（高维数据压缩）
      • 3.3 自监督学习（自动构造监督信号）
      • 3.4 强化学习（交互反馈式学习）
      • 3.5 深度学习（深度神经网络）
    • 四、机器学习完整建模流程
      • 4.1 数据预处理（清洗脏数据）
      • 4.2 特征工程（建模核心步骤）
      • 4.3 数据集划分
      • 4.4 模型训练
      • 4.5 模型评估与优化
    • 五、拓展对比与核心要点
      • 5.1 传统机器学习 vs 深度学习
      • 5.2 过拟合与欠拟合（建模最常见挑战）
      • 5.3 大模型时代的关键概念速览

一、机器学习四大学习范式

按训练信号来源划分，机器学习可分为四大主流范式：

学习范式通俗注解核心定义典型任务与算法应用场景
监督学习人类给标准答案训练数据包含「输入特征 + 人工标注标签」，模型学习输入到输出的映射关系分类、回归；逻辑回归、SVM、决策树、随机森林图像分类、房价预测、垃圾邮件识别
无监督学习无标准答案，自主挖掘规律数据无人工标签，模型挖掘数据内在分布与相似关系聚类、降维、关联规则；K-Means、PCA、Apriori用户分群、购物篮分析、数据可视化
自监督学习自己构造答案基于无标注数据内部信息自动构造预测目标，是当前预训练的主流方案掩码预测、对比学习；BERT、ViT、SimCLR大模型预训练、通用视觉/语言特征提取
强化学习环境奖惩反馈智能体与环境交互，依靠奖励/惩罚信号优化行为策略，最大化长期累积收益策略梯度、DQN、PPO、RLHF游戏 AI、机器人控制、大模型对齐

辨析要点：自监督学习与无监督学习都不需要人工标注，区别在于——自监督会主动构造"伪标签"作为预测目标（如遮住一个词让模型猜），本质上仍是一种"有目标"的学习；无监督学习则完全不设预测目标，只关注发现数据结构。

二、从人工智能到大模型的演变脉络

四层从属关系，由外到内逐层聚焦：

层级名称定位关键特征
第 1 层人工智能（AI）总目标让机器模拟人类感知、推理、决策能力；涵盖规则系统、搜索、知识图谱等
第 2 层机器学习（ML）AI 核心分支不靠硬编码规则，通过数据自动学习规律
第 3 层深度学习（DL）ML 子集多层深度神经网络，自动提取从底层到高层的特征
第 4 层大模型（LLM/多模态）DL 前沿应用基于自监督预训练的超大参数模型，具备通用理解与生成能力

数学表达：AI ⊃ ML ⊃ DL ⊃ LLM \text{AI} \supset \text{ML} \supset \text{DL} \supset \text{LLM}AI⊃ML⊃DL⊃LLM

三、机器学习算法与任务分类

3.1 监督学习（带标签数据）

3.1.1 分类任务（输出离散类别）

  • 目标：判断样本归属哪一类（二分类/多分类）
  • 典型算法：逻辑回归、SVM、决策树、随机森林、CNN
  • 案例：猫狗识别、疾病诊断、垃圾短信检测
3.1.2 回归任务（输出连续数值）

  • 目标：预测连续实数值
  • 典型算法：线性回归、多项式回归、梯度提升树（XGBoost、LightGBM）
  • 案例：房价预测、销量预估、气温预测

3.2 无监督学习（无标签数据）

3.2.1 聚类任务（样本自动分组）

  • 目标：按样本相似度自动划分群组
  • 典型算法：K-Means、DBSCAN、层次聚类
  • 案例：电商客户分层、文本主题聚类、异常检测
3.2.2 关联规则挖掘（发现共现模式）

  • 目标：挖掘数据中频繁同时出现的组合关系
  • 典型算法：Apriori、FP-Growth
  • 案例：超市购物推荐（经典"啤酒与尿布"）、商品搭配分析
3.2.3 降维（高维数据压缩）
  • 典型算法：PCA、t-SNE、UMAP
  • 作用：高维数据压缩与可视化、减少计算量、缓解维度灾难

3.3 自监督学习（自动构造监督信号）

  • 核心思想：从未标注数据中设计"pretext task"（代理任务），让模型自己生成学习信号
  • 主流范式：
    • 掩码语言模型（MLM）：随机遮住文本中的词，让模型预测——代表：BERT
    • 掩码图像建模（MIM）：遮住图像 patch 让模型重建——代表：MAE
    • 对比学习：拉近同一样本不同增强视角，推远不同样本——代表：SimCLR、MoCo
  • 意义：大模型时代预训练的基石，解决了人工标注成本过高的瓶颈

3.4 强化学习（交互反馈式学习）

  • 核心要素：智能体（Agent）、环境（Environment）、状态（State）、动作（Action）、奖励（Reward）
  • 主流算法：DQN、PPO、A3C、SAC
  • 现代应用：RLHF（人类反馈强化学习，用于大模型价值观对齐）、AlphaGo、机器人运动控制、自动驾驶决策

3.5 深度学习（深度神经网络）

  • 核心特点：多层神经网络自动提取"底层→高层"特征，无需人工特征工程
  • 主流网络架构：
架构擅长领域代表模型
CNN（卷积神经网络）图像、视频ResNet、EfficientNet
RNN / LSTM / GRU时序、语音Seq2Seq
Transformer文本、多模态（当前主流）BERT、GPT、ViT、LLaMA
GAN / Diffusion图像生成StyleGAN、Stable Diffusion

四、机器学习完整建模流程

完整链路：业务定义与数据采集 → 数据预处理 → 特征工程 → 数据集划分 → 模型训练 → 模型评估调优 → 部署上线与持续迭代

4.1 数据预处理（清洗脏数据）

解决原始数据缺陷，保证训练有效性：

步骤操作说明
缺失值处理填充均值/中位数/众数，或删除高缺失字段缺失比例 > 70% 的字段通常直接丢弃
异常值处理箱线图（IQR）、3σ 原则区分"真实极端值"与"录入错误"
去重删除完全重复样本避免权重偏移
标准化/归一化Z-score 标准化、Min-Max 归一化消除量纲影响，加速梯度下降收敛
类别编码One-Hot 编码、标签编码、Target 编码将文本类别转为模型可计算的数值

4.2 特征工程（建模核心步骤）

将原始数据转化为有效预测特征：

  • 特征构造：组合衍生新特征（如日均消费 = 总消费 / 天数；交互特征 = 特征A × 特征B）
  • 特征选择：剔除无关、冗余特征，降低维度（方差过滤、互信息、L1 正则化）
  • 特征变换：对数变换（处理偏态）、离散分箱、文本向量化（TF-IDF、Word2Vec）

经验法则：传统机器学习中，“数据和特征决定了模型上限，算法只是在逼近这个上限”。深度学习通过端到端学习弱化了人工特征工程，但在结构化数据（表格数据）场景中，精细的特征工程仍然关键。

4.3 数据集划分

标准三划分（通用比例 7:1:2 或 8:1:1）：

数据集比例用途注意事项
训练集70%~80%模型学习参数—
验证集10%~15%调超参数、早停判断、模型筛选可反复使用
测试集10%~20%最终真实性能评估只能在最终评估时使用一次

铁律：测试集禁止参与训练或调参，否则评估结果虚高，模型上线后性能将大幅退化（数据泄露）。

4.4 模型训练

  1. 根据任务类型选择对应算法（分类/回归/聚类/生成）
  2. 设置超参数（学习率、树深度、网络层数、Batch Size 等）
  3. 迭代优化：最小化损失函数，通过反向传播持续更新模型参数
  4. 早停策略（Early Stopping）：验证集性能连续 N 轮不再提升时停止，防止过拟合
  5. 学习率调度：Warmup + Cosine Decay 等策略提升训练稳定性

4.5 模型评估与优化

分类任务核心指标：

指标含义适用场景
准确率（Accuracy）预测正确的比例类别均衡时参考
精确率（Precision）预测为正中真正为正的比例关注"误报"代价时（如垃圾邮件）
召回率（Recall）实际为正中被正确识别的比例关注"漏报"代价时（如疾病筛查）
F1-Score精确率与召回率的调和平均综合衡量，类别不均衡时优先看
AUC-ROC模型区分正负样本的整体能力阈值无关的综合评估

回归任务核心指标：

指标含义
MSE（均方误差）对大误差惩罚更重
MAE（平均绝对误差）对异常值更鲁棒
R²（决定系数）模型解释方差的比例，越接近 1 越好

常用优化手段：网格搜索/随机搜索/贝叶斯优化调参、K 折交叉验证、正则化（L1/L2/Dropout）、集成学习（Bagging/Boosting/Stacking）、数据增强。

五、拓展对比与核心要点

5.1 传统机器学习 vs 深度学习

对比维度传统机器学习深度学习
代表算法线性回归、SVM、决策树、XGBoostCNN、Transformer、Diffusion
特征工程高度依赖人工设计端到端自动学习特征
数据需求小数据集（千~万级）即可工作通常需要海量数据（百万级以上）
算力需求CPU 即可依赖 GPU/TPU 集群
可解释性较强（可看特征权重、树结构）较弱（黑箱，需 SHAP/LIME 等辅助）
适用场景结构化表格数据、中小规模问题图像、文本、语音、多模态等复杂任务

5.2 过拟合与欠拟合（建模最常见挑战）

问题表现常见原因应对策略
过拟合训练集表现好，验证/测试集差模型过于复杂、数据量不足、训练过久正则化、Dropout、早停、数据增强、增加数据
欠拟合训练集和测试集表现都差模型太简单、特征不足、学习率不当增加模型复杂度、增加特征、延长训练

5.3 大模型时代的关键概念速览

概念一句话解释
预训练（Pre-training）在海量无标注数据上用自监督任务学习通用表示
微调（Fine-tuning）在特定任务小数据集上继续训练，适配下游任务
RLHF用人类偏好反馈训练奖励模型，再通过强化学习对齐模型输出
Prompt Engineering通过设计输入提示词引导模型输出，无需修改参数
RAG检索增强生成：先从知识库检索相关文档，再交给模型生成回答
多模态模型同时理解文本、图像、音频、视频等多种信息形式