以下是TYTU2024年机器学习期末试卷的逐题答案与详细讲解：
一、选择题
1. 假设西瓜数据集有三种属性：根蒂，色泽和敲声，并且三种属性各有3种可能取值，则假设空间的规模大小为（ ）
答案：D. 65
详解：
根据西瓜书第1章假设空间的计算方法：
- 每个属性有3种取值，再加上一个通配符*（表示“无论取何值都合适”），因此每个属性有 4 种可能。
- 三个属性的组合数为 \(4 \times 4 \times 4 = 64\)。
- 此外，假设空间还需包含一个空集概念（例如“不存在好瓜”），因此总规模为 \(64 + 1 = \mathbf{65}\)。
2. 下列关于留出法，不正确的说法是（ ）
答案：B
详解：
- A 正确：留出法（Hold-out）将数据集互斥地划分为训练集和测试集。
- B 错误：划分时通常需要保持数据分布的一致性（即采用分层采样，stratified sampling），否则会因为数据分布差异导致评估偏差。
- C 正确：为减少随机性影响，通常进行若干次随机划分并取平均。
- D 正确：常见做法是将约 \(2/3 \sim 4/5\) 的样本用于训练，剩余用于测试。
3. Bootstrap数据是指（ ）
答案：C
详解：
Bootstrap（自助法/可重复采样）是有放回地从原始数据集的 \(N\) 个样本中抽取 \(N\) 个样本（样本容量与原始集相同）。每次采样未被抽到的样本（约36.8%）作为测试集。注意：Bootstrap采样的是样本，而非特征。
4. 下面的交叉验证方法，当样本是1000时，执行时间的正确顺序是（ ）
答案：B. ii > iv > iii > i
详解：
各方法需要训练的模型次数（样本量 \(N=1000\)）：
- ii. 留一法（LOO）：训练 \(N\) 次 = 1000次，最耗时。
- iv. 重复两次的5折交叉验证：\(2 \times 5 =\) 10次。
- iii. 5折交叉验证：5次。
- i. Bootstrap：通常只需产生1次（或少数几次）自助采样并训练，计算量最小。
因此时间顺序为：留一法 > 重复5折 > 5折 > Bootstrap，即 ii > iv > iii > i。
5. 下列说法不正确的是（ ）
答案：B
详解：
线性回归模型需要利用有标记的数据（输入特征+连续型输出标签）进行训练，属于典型的有监督学习算法，而非无监督学习。
6. 下列关于线性回归模型的论述不正确的是（ ）
答案：B
详解：
线性回归采用最小二乘法（Least Squares）估计参数，其损失函数为均方误差（MSE），对离群值（Outliers）非常敏感——一个远离主体的样本会显著拉高误差平方项，从而严重扭曲回归线。因此“对离群值不敏感”的说法是错误的。
7. 逻辑回归模型（对率回归）输出的取值范围是（ ）
答案：A. (0, 1)
详解：
逻辑回归通过 Sigmoid（对率）函数 \(y = \frac{1}{1+e^{-z}}\) 将线性输出映射到概率空间。Sigmoid 的取值范围是开区间 (0, 1)，永远不会精确等于0或1（以它们为渐近线）。
8. 决策树中一般不包含（ ）结点
答案：D. 外部结点
详解：
决策树的结构仅包含三类节点：
- 根结点（Root）：树的起点。
- 内部结点（Internal/Decision Node）：对应某个属性测试。
- 叶结点（Leaf/Terminal Node）：对应决策结果。
不存在“外部结点”这一概念。
9. 决策树中选择划分属性时，ID3、C4.5、CART分别使用的是（ ）
答案：D. acd
详解：
- ID3：使用 信息增益（a, Information Gain）。
- C4.5：使用 信息增益率（c, Gain Ratio），克服信息增益对多值属性的偏好。
- CART：使用 基尼指数（d, Gini Index）。
对应顺序为 a → c → d，即选项 D (acd)。
10. 感知机能很难实现逻辑（ ）运算
答案：D. 异或
详解：
感知机是线性分类模型。逻辑“与”“或”“非”都是线性可分的，而异或（XOR）是经典的线性不可分问题，单层感知机无法解决，需引入多层网络（如隐藏层）。
11. 下列说法不正确的是（ ）
答案：D
详解：
ART（Adaptive Resonance Theory，自适应共振理论）网络的核心优势之一就是支持增量学习（Incremental Learning），即可以在不遗忘旧知识的前提下学习新样本。因此“不可以进行增量学习”是错误的。
12. 集成学习中 Boosting 和 Bagging 分别降低的是（ ）
答案：C. 偏差 方差
详解：
- Boosting（如AdaBoost）：串行训练，关注难分类样本，通过不断修正残差来降低模型的偏差（Bias）。
- Bagging（如Random Forest）：并行训练多个独立模型，通过取平均/投票来降低模型的方差（Variance）。
13. 以下哪个不是集成学习的结合策略（ ）
答案：D. 分类法
详解：
西瓜书中介绍的常见结合策略包括：
- 平均法（Averaging，用于回归/数值输出）
- 投票法（Voting，用于分类）
- 学习法（Stacking，通过次级学习器结合）
不存在“分类法”这一结合策略。
14. 以下哪个不是聚类性能度量的外部指标（ ）
答案：D. DB指数
详解：
- Jaccard系数、FM系数、Rand指数：都需要借助外部参考模型（真实标签）来评估，属于外部指标。
- DB指数（Davies-Bouldin Index）：基于簇内紧密度和簇间分离度计算，无需外部标签，属于内部指标。
15. 以下哪个不是原型聚类的算法（ ）
答案：D. 层次聚类
详解：
原型聚类（Prototype-based Clustering）假设聚类结构能通过一组原型刻画，包括：K均值、学习向量量化（LVQ）、高斯混合聚类。层次聚类（Hierarchical Clustering）属于另一类聚类范式，通过树状结构（ dendrogram ）组织样本，不基于原型。
二、填空题
| 题号 | 答案 | 补充说明 |
|---|---|---|
| 1 | 归纳 与 演绎 | 科学推理的两大基本手段（西瓜书p4）。 |
| 2 | 留出法、交叉验证法、自助法 | 模型评估的三种经典方法（西瓜书p25-28）。 |
| 3 | 均方误差（MSE/RMSE）；错误率 | 回归常用均方误差；分类常用错误率与精度（西瓜书p29）。 |
| 4 | 拆解法；一对一（OvO）、一对其余（OvR）、多对多（MvM） | 多分类学习思路：将多分类拆分为多个二分类任务（西瓜书p63）。 |
| 5 | 监督（有监督）；无监督 | 根据标记信息有无的划分（西瓜书p3）。 |
| 6 | 泛化 | 模型对新样本的适用能力称为泛化能力（西瓜书p2）。 |
| 7 | 过拟合；欠拟合 | 训练样本学“太好”导致泛化下降是过拟合；训练样本一般性质都没学好是欠拟合（西瓜书p2）。 |
| 8 | 最小二乘法（或最小二乘估计） | 基于均方误差最小化的求解方法（西瓜书p54）。 |
| 9 | \(\displaystyle y=\frac{1}{1+e^{-(\mathbf{w}^\mathrm{T}\mathbf{x}+b)}}\)（或 Sigmoid函数 / Logistic函数） | 对数几率函数的标准形式（西瓜书p57）。 |
| 10 | 几率（odds） | \(\frac{y}{1-y}\) 称为几率，取对数后即为对数几率（西瓜书p57）。 |
| 11 | 极大似然估计法（或梯度下降法/牛顿法） | 对率回归通过最大化似然函数估计参数（西瓜书p59）。 |
| 12 | 线性判别分析（LDA） | 投影到直线使同类近、异类远（西瓜书p60）。 |
| 13 | 纠错输出码（ECOC）；编码；解码 | ECOC将多分类问题编码为二元/三元码，再解码还原（西瓜书p65）。 |
| 14 | 类别不平衡；再缩放（或欠采样/过采样/阈值移动） | 不同类别样本数差异大；基本策略是再缩放（西瓜书p66）。 |
| 15 | 信息增益、信息增益率、基尼指数 | 分别对应ID3、C4.5、CART的划分准则（西瓜书p74-78）。 |
| 16 | 过拟合 | 剪枝是决策树对抗过拟合的主要手段（西瓜书p79）。 |
| 17 | 二分法（bi-partition） | 对连续属性排序后找最优划分点进行二分离散化（西瓜书p83）。 |
| 18 | \(\displaystyle \frac{144}{289}\approx 0.498\) | 基尼值 \(\text{Gini}(D)=1-\sum_{k=1}^2 p_k^2=1-\left[\left(\frac{8}{17}\right)^2+\left(\frac{9}{17}\right)^2\right]=\frac{144}{289}\)。 |
| 19 | 梯度下降 | BP算法基于梯度下降，沿负梯度方向更新参数（西瓜书p97）。 |
| 20 | 早停（early stopping）；正则化（regularization） | 缓解BP过拟合的两种主要策略（西瓜书p105）。 |
| 21 | 递归（或循环 / RNN） | 递归神经网络允许网络中出现环形/循环结构（西瓜书p99）。 |
| 22 | 判别式；生成式 | 直接建模 \(P(c|\mathbf{x})\) 是判别模型；先建模 \(P(\mathbf{x},c)\) 再推导后验是生成模型（西瓜书p148）。 |
| 23 | 属性（或特征） | 朴素贝叶斯假设所有属性条件独立（西瓜书p151）。 |
| 24 | 半朴素（半朴素贝叶斯） | 独依赖估计（ODE）是半朴素贝叶斯策略，放松属性独立性假设（西瓜书p154）。 |
| 25 | 集成（或集成学习） | AODE通过集成多个SPODE分类器提升性能（西瓜书p156）。 |
| 26 | 闵可夫斯基距离（或欧氏距离） | 聚类中最常用的距离度量，欧氏距离是其特例（西瓜书p199）。 |
| 27 | 概率（或统计/贝叶斯） | 贝叶斯决策论是在概率框架下的决策方法（西瓜书p147）。 |
| 28 | 偏差、方差、噪声 | 泛化误差可分解为这三项之和（西瓜书p44）。 |
| 29 | 编码矩阵；二元码、三元码 | ECOC通过编码矩阵指定类别划分，常见二元码和三元码（西瓜书p65）。 |
三、简答题
1. 简述造成过拟合、欠拟合的原因
-
过拟合原因：
- 模型复杂度过高：参数过多、容量过大，把训练样本自身的噪声和细节都学了进去。
- 训练数据不足或噪声过大：样本量太少或标签错误多，模型无法学到一般规律。
- 训练过度：迭代次数太多，对训练集拟合得太“完美”。
-
欠拟合原因：
- 模型复杂度过低：如用线性模型拟合非线性关系。
- 特征选择不当：有效特征缺失，模型无法捕捉关键信息。
- 训练不足：参数尚未收敛，对训练样本的一般性质都没学好。
2. 试述真正例率（TPR）、假正例率（FPR）、查准率（P）、查全率（R）之间的关系
定义（二分类）：
- \(TPR = \frac{TP}{TP+FN}\)，即所有正例中被正确预测的比例。
- \(FPR = \frac{FP}{TN+FP}\)，即所有反例中被错误预测为正例的比例。
- \(P = \frac{TP}{TP+FP}\)，即预测为正例的样本中真正为正例的比例。
- \(R = \frac{TP}{TP+FN}\)，即所有正例中被查出的比例。
关系：
- 查全率 R 与真正例率 TPR 完全等价，即 \(R = TPR\)。
- 查准率 P 与查全率 R 通常相互制约：提高查全率往往会引入更多假正例，导致查准率下降；反之亦然。
- TPR 与 FPR 用于 ROC 曲线：TPR 为纵轴，FPR 为横轴。一个好的模型应在 TPR 高的同时保持 FPR 低。
- P 与 R 用于 PR 曲线：适用于类别不平衡场景，能更好反映模型在正例上的性能。
3. 什么是预剪枝，什么是后剪枝。两者的优点和缺点各是什么？
-
预剪枝（Pre-pruning）：在决策树生成过程中，对每个结点在划分前先进行估计，若当前划分不能带来泛化性能提升，则停止划分并将当前结点标记为叶结点。
- 优点：减少训练时间和计算开销；降低过拟合风险。
- 缺点：基于“贪心”策略，可能因当前划分不增益而停止，导致某些后续可能重要的分支被剪掉，欠拟合风险较大。
-
后剪枝（Post-pruning）：先由训练集生成一棵完整的决策树，然后自底向上地对非叶结点进行考察，若将该结点对应的子树替换为叶结点能带来泛化性能提升，则进行剪枝。
- 优点：保留了更多分支信息，欠拟合风险小，泛化性能通常优于预剪枝。
- 缺点：训练时间开销大（需先生成完整树再剪枝）。
4. 单变量决策树和多变量决策树的区别是什么？
- 单变量决策树（Univariate Decision Tree）：每个内部结点仅对单个属性进行测试，形成一个轴平行（axis-parallel）的划分。例如 ID3、C4.5、CART 都是单变量决策树。
- 多变量决策树（Multivariate Decision Tree）：每个内部结点可以对多个属性的线性组合进行测试，划分边界是斜的（oblique），表达能力更强，树通常更简洁。例如 OC1 算法。
5. 如何避免让网络陷入局部最小
BP 神经网络基于梯度下降，易陷入局部极小。常用策略：
- 多组不同初始值：以不同随机权重初始化网络，训练后取误差最小的解。
- 随机梯度下降（SGD）：每次迭代使用随机样本或小批量（mini-batch）估计梯度，引入噪声有助于跳出局部极小。
- 动量法（Momentum）：累积历史梯度方向，加速收敛并抑制震荡。
- 自适应学习率算法：如 Adam、RMSprop，根据梯度历史自动调整步长。
- 模拟退火/遗传算法：以一定概率接受次优解，增加跳出局部极小的机会。
- 增加网络复杂度：适当加深或加宽网络，改变误差曲面地形。
6. BP算法的流程是什么？BP算法的目标是什么？它存在哪些不足之处？
-
流程：
- 前向传播：输入样本逐层计算，得到网络输出。
- 计算误差：比较输出与真实标签，计算损失（如均方误差）。
- 反向传播：从输出层开始，逐层计算误差对权重的偏导（梯度）。
- 更新权重：沿负梯度方向调整各层连接权与阈值。
- 重复以上步骤直至收敛。
-
目标：最小化网络在训练集上的输出误差（损失函数），使模型尽可能拟合训练数据。
-
不足：
- 局部极小：梯度下降可能收敛到局部极小点而非全局最优。
- 收敛慢：尤其是网络较深或数据量大时，训练迭代次数多。
- 梯度消失/爆炸：深层网络中 sigmoid 导数小于1，连乘后梯度趋近于0（消失）或过大（爆炸）。
- 超参数敏感：学习率、网络结构等需精细调参。
7. EM算法的两步是什么？这两步的作用分别是什么？
EM（Expectation-Maximization）算法用于估计含有隐变量的概率模型参数，迭代执行以下两步：
-
E步（Expectation，期望步）：
在当前参数估计值下，计算隐变量的后验概率（期望）。即根据现有模型“猜测”每个样本的隐变量取值概率。
作用：建立对隐变量当前最可靠的估计，为后续优化提供完整数据。 -
M步（Maximization，最大化步）：
将隐变量的期望视为已知，最大化完全数据的对数似然函数，从而更新模型参数。
作用：基于E步的“补全数据”，通过常规极大似然估计优化参数。
两步交替进行，直至似然函数收敛到局部极大值。
8. 传统回归模型与支持向量回归（SVR）的差别是什么？
| 维度 | 传统回归（如线性/多项式回归） | 支持向量回归（SVR） |
|---|---|---|
| 损失函数 | 通常最小化所有样本的误差平方和（MSE），对每个样本的误差都敏感。 | 引入 \(\varepsilon\)-不敏感带：仅当预测与真实值差距绝对值大于 \(\varepsilon\) 时才计算损失，小于 \(\varepsilon\) 的误差被忽略。 |
| 模型稀疏性 | 最终模型通常依赖所有训练样本。 | 模型仅由支持向量（落在 \(\varepsilon\)-带外或边界上的样本）决定，具有稀疏性。 |
| 优化思想 | 基于经验风险最小化。 | 基于结构风险最小化（间隔最大化），通过正则化项控制模型复杂度。 |
| 非线性处理 | 需显式构造非线性特征。 | 可通过核函数（Kernel）将样本映射到高维空间，隐式处理非线性。 |
| 鲁棒性 | 对噪声和异常值较敏感。 | 对 \(\varepsilon\)-带内的噪声不敏感，鲁棒性更强。 |
四、计算题
由于试卷中计算题仅列出考查点标题，未给出具体数据，以下提供各题的核心公式、解题框架与关键步骤，可直接代入具体数值求解。
1. 线性回归方程计算
核心方法：最小二乘法（Least Squares）
对于一元线性回归 \(y = wx + b\)：
对于多元线性回归 \(\mathbf{y} = \mathbf{X}\mathbf{w}\)：
步骤：
- 构造设计矩阵 \(\mathbf{X}\)（含常数列1）和标签向量 \(\mathbf{y}\)。
- 计算 \(\mathbf{X}^\mathrm{T}\mathbf{X}\) 及其逆矩阵（若不可逆则用正则化或伪逆）。
- 代入公式求得 \(\mathbf{w}^*\)，写出回归方程。
2. 信息增益计算；连续值与缺失值处理
(1) 信息增益（ID3）
其中信息熵 \(\text{Ent}(D) = -\sum_{k=1}^{|\mathcal{Y}|} p_k \log_2 p_k\)。
步骤：
- 计算根结点数据集 \(D\) 的信息熵。
- 按属性 \(a\) 的取值划分数据集，计算各子集加权熵。
- 两者相减即得信息增益，选择增益最大的属性进行划分。
(2) 连续值处理（C4.5/CART二分法）
- 将属性 \(a\) 的取值排序：\(\{a^1, a^2, ..., a^n\}\)。
- 取相邻取值中点作为候选划分点：\(T_a = \{\frac{a^i+a^{i+1}}{2} \mid 1 \le i \le n-1\}\)。
- 对每个候选点 \(t\)，将样本划分为 \(D_t^-\)（属性值 \(\le t\)）和 \(D_t^+\)（属性值 \(> t\)）。
- 选择使信息增益（或增益率/基尼指数）最大的 \(t\) 作为最优划分点。
(3) 缺失值处理（C4.5）
- 样本权重调整：令每个样本初始权重为1。若样本在属性 \(a\) 上缺失，则将其以权重比例分配到各子结点（按该属性已知样本的分布比例）。
- 信息增益公式调整为仅考虑属性 \(a\) 上无缺失的样本子集 \(\tilde{D}\)，并乘以无缺失样本比例 \(\rho = \frac{|\tilde{D}|}{|D|}\)。
3. 神经网络四个公式的推导（标准BP算法）
设网络为单隐层前馈网络：输入层 \(d\) 个神经元，隐层 \(q\) 个神经元，输出层 \(l\) 个神经元。激活函数为 sigmoid。
符号：\(\theta_j\)（输出层阈值）、\(\gamma_h\)（隐层阈值）、\(v_{ih}\)（输入-隐层权）、\(w_{hj}\)（隐层-输出层权）。
四个核心公式（西瓜书p101，式5.7-5.10）：
-
输出层神经元的梯度项（误差项）：
\[g_j = \hat{y}_j(1-\hat{y}_j)(y_j - \hat{y}_j) \] -
隐层神经元的梯度项：
\[e_h = b_h(1-b_h)\sum_{j=1}^l w_{hj}g_j \]（其中 \(b_h\) 为隐层输出）
-
权值更新（隐层→输出层）：
\[\Delta w_{hj} = \eta g_j b_h \] -
权值更新（输入层→隐层）：
\[\Delta v_{ih} = \eta e_h x_i \]
推导逻辑：
- 定义误差 \(E = \frac{1}{2}\sum_{j=1}^l (\hat{y}_j - y_j)^2\)。
- 对输出层权重 \(w_{hj}\) 求偏导，利用链式法则经过 \(\frac{\partial E}{\partial \hat{y}_j} \to \frac{\partial \hat{y}_j}{\partial \beta_j} \to \frac{\partial \beta_j}{\partial w_{hj}}\)，其中 \(\beta_j\) 为输出层输入。因 sigmoid 导数 \(\sigma' = \sigma(1-\sigma)\)，即得公式1和3。
- 对隐层权重 \(v_{ih}\) 求偏导时，误差需先传递到输出层再反向传回隐层，即 \(\frac{\partial E}{\partial b_h} = \sum_j \frac{\partial E}{\partial \hat{y}_j}\frac{\partial \hat{y}_j}{\partial \beta_j}\frac{\partial \beta_j}{\partial b_h} = \sum_j w_{hj}g_j\)，再乘隐层 sigmoid 导数得公式2，进而得公式4。
4. 支持向量机（SVM）
(1) 线性可分SVM（硬间隔）
原始优化问题：
对偶问题（用拉格朗日乘子 \(\alpha\)）：
支持向量：对应 \(\alpha_i > 0\) 的样本（位于间隔边界上）。
决策函数：\(f(\mathbf{x}) = \text{sign}\left(\sum_{i\in SV} \alpha_i y_i \mathbf{x}_i^\mathrm{T}\mathbf{x} + b\right)\)
(2) 核函数与非线性
引入核函数 \(K(\mathbf{x}_i, \mathbf{x}_j) = \phi(\mathbf{x}_i)^\mathrm{T}\phi(\mathbf{x}_j)\)，常见：
- 多项式核：\(K(\mathbf{u},\mathbf{v}) = (\mathbf{u}^\mathrm{T}\mathbf{v} + c)^d\)
- 高斯核（RBF）：\(K(\mathbf{u},\mathbf{v}) = \exp\left(-\frac{\|\mathbf{u}-\mathbf{v}\|^2}{2\sigma^2}\right)\)
(3) 软间隔与正则化（若数据不完全线性可分）：
5. 朴素贝叶斯 + 拉普拉斯修正
(1) 朴素贝叶斯分类器
预测样本 \(\mathbf{x}\) 的类别：
其中先验概率和条件概率用频率估计：
(2) 拉普拉斯修正（Laplace Smoothing）
为避免因某个属性值在训练集中未出现而导致概率为0，将所有计数加1：
计算步骤：
- 统计各类别样本数 \(|D_c|\) 及各属性取值在各类别下的样本数 \(|D_{c,x_i}|\)。
- 应用拉普拉斯修正计算平滑后的概率。
- 连乘各属性条件概率与先验概率，取使后验概率最大的类别作为预测结果。
- 为防止数值下溢，通常取对数将连乘转为连加：\[c^* = \arg\max_c \left[\ln \hat{P}(c) + \sum_{i=1}^d \ln \hat{P}(x_i|c)\right] \]