5、模式分类与线性分类器详解

模式分类与线性分类器详解

在模式分类领域，线性分类器是一种基础且重要的工具。接下来，我们将详细探讨不同的线性分类器损失函数以及多类分类的方法。

1. 不同损失函数的线性分类器

线性分类器在处理分类问题时，损失函数起着关键作用，不同的损失函数会影响模型的性能和特性。

1.1 铰链损失（Hinge Loss）

• 原理：样本 $x$ 到决策边界的归一化距离为 $\frac{| f (x)|}{|w|}$，样本的间隔通过 $(wx^T)y$ 计算（$y$ 是 $x$ 对应的标签）。间隔能反映样本分类的正确性。例如，若样本 $x_a$ 的标签为 $-1$，当 $wx_a^T$ 为负时，与 $y = -1$ 相乘为正，表明样本分类正确；反之则分类错误。
• 目标：铰链损失不仅用于训练分类器，还旨在增加样本的间隔，这有助于提高分类器对噪声样本的容忍度。
• 公式：
  • 铰链损失函数定义为 $L_{hinge}(w) = \frac{1}{n} \sum_{i=1}^{n} \max(0, a - wx_i^T y_i)$，其中 $y_i \in {-1, 1}$ 是训练样本 $x_i$ 的标签。
  • 当 $w x_i$ 和 $y_i$ 符号相同时，求和项为 0；符号不同时，求和项为 $a - wx_i^T y_i$，增加损失值。若 $wx_i^T y_i < a$，说明样本在模型的临界区域内，也会增加损失。
  • 求和项可进一步写为