手把手图解：用Python把‘能量守恒’和‘勾股定理’画出来，理解机器学习降维不丢信息的本质

手把手图解：用Python把‘能量守恒’和‘勾股定理’画出来，理解机器学习降维不丢信息的本质

在机器学习领域，降维技术如PCA（主成分分析）和SVD（奇异值分解）常被用来处理高维数据。但你是否好奇过，为什么这些方法能在减少数据维度的同时，几乎不丢失关键信息？答案藏在数学中的能量守恒和勾股定理里。本文将带你用Python代码，从几何视角直观理解这一核心原理。

我们将使用NumPy和Matplotlib，从二维数据点出发，通过可视化展示正交变换如何保持数据的"能量"（方差）不变。这种动手实践的方式，不仅能加深你对PCA原理的理解，还能让你真正掌握降维技术的数学本质。

1. 准备工作与环境配置

在开始之前，确保你的Python环境已安装以下库：

import numpy as np import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D

如果你尚未安装这些库，可以使用pip快速安装：

pip install numpy matplotlib

提示：建议使用Jupyter Notebook进行本教程的实践，它能实时显示图形输出，方便交互式学习。

2. 理解数据"能量"的数学定义

在信号处理和机器学习中，"能量"这一概念与物理学中的定义有所不同。这里，我们定义数据点的能量为其到原点距离的平方：

能量 = x₁² + x₂² + ... + xn²

这与勾股定理在多维空间的扩展形式完全一致。让我们用代码生成一些二维数据点并计算它们的能量：

# 生成随机二维数据点 np.random.seed(42) data = np.random.randn(100, 2) * 5 # 100个点，标准差为5 # 计算每个点的能量 energies = np.sum(data**2, axis=1) total_energy = np.sum(energies) print(f"总能量: {total_energy:.2f}")

3. 可视化原始数据及其能量分布

为了更好地理解，我们先绘制这些数据点：

plt.figure(figsize=(10, 6)) plt.scatter(data[:, 0], data[:, 1], c=energies, cmap='viridis') plt.colorbar(label='单个点能量') plt.axhline(0, color='black', linestyle='--') plt.axvline(0, color='black', linestyle='--') plt.title("二维数据点及其能量分布") plt.xlabel("X轴") plt.ylabel("Y轴") plt.grid(True) plt.show()

你会看到点越远离原点，其颜色越亮（能量越高）。所有点的能量总和就是我们要关注的守恒量。

4. 正交变换与能量守恒

正交变换（如旋转）是PCA的核心。这类变换有一个重要特性：保持向量的长度（即能量）不变。让我们创建一个旋转矩阵并应用它：

# 创建旋转矩阵（30度） theta = np.radians(30) rotation_matrix = np.array([ [np.cos(theta), -np.sin(theta)], [np.sin(theta), np.cos(theta)] ]) # 应用旋转 rotated_data = data @ rotation_matrix # 计算旋转后能量 rotated_energies = np.sum(rotated_data**2, axis=1) rotated_total_energy = np.sum(rotated_energies) print(f"旋转后总能量: {rotated_total_energy:.2f}")

比较旋转前后的总能量，你会发现它们几乎相同（可能有微小差异来自浮点运算）。这就是能量守恒的体现。

5. 从二维到三维的扩展理解

为了更深入理解，我们扩展到三维空间。首先生成一些三维数据：

# 生成三维数据 np.random.seed(42) data_3d = np.random.randn(100, 3) * 5 # 计算能量 energies_3d = np.sum(data_3d**2, axis=1) total_energy_3d = np.sum(energies_3d) print(f"三维数据总能量: {total_energy_3d:.2f}")

然后创建一个三维旋转矩阵并应用：

# 创建绕Z轴旋转45度的矩阵 theta_z = np.radians(45) rotation_z = np.array([ [np.cos(theta_z), -np.sin(theta_z), 0], [np.sin(theta_z), np.cos(theta_z), 0], [0, 0, 1] ]) # 应用旋转 rotated_3d = data_3d @ rotation_z # 验证能量守恒 rotated_energies_3d = np.sum(rotated_3d**2, axis=1) rotated_total_energy_3d = np.sum(rotated_energies_3d) print(f"旋转后三维总能量: {rotated_total_energy_3d:.2f}")

6. 连接PCA：寻找最大能量方向

PCA的核心思想是找到数据中能量（方差）最大的方向。让我们用代码实现一个简化版PCA：

# 计算协方差矩阵 cov_matrix = np.cov(data.T) # 计算特征值和特征向量 eigenvalues, eigenvectors = np.linalg.eig(cov_matrix) # 按特征值大小排序 sorted_indices = np.argsort(eigenvalues)[::-1] eigenvalues = eigenvalues[sorted_indices] eigenvectors = eigenvectors[:, sorted_indices] print("特征值（各主成分的能量）:", eigenvalues) print("特征向量（主成分方向）:\n", eigenvectors)

第一主成分方向就是能量最大的方向。我们可以将数据投影到这个方向上：

# 投影到第一主成分 principal_component = eigenvectors[:, 0] projected_data = data @ principal_component # 计算投影后能量 projected_energy = np.sum(projected_data**2) print(f"第一主成分保留能量: {projected_energy:.2f}") print(f"能量保留比例: {projected_energy/total_energy:.2%}")

7. 完整可视化：从原始数据到PCA降维

最后，让我们将所有步骤可视化：

plt.figure(figsize=(12, 6)) # 原始数据 plt.subplot(1, 2, 1) plt.scatter(data[:, 0], data[:, 1], alpha=0.6) plt.quiver(0, 0, eigenvectors[0, 0]*eigenvalues[0], eigenvectors[1, 0]*eigenvalues[0], angles='xy', scale_units='xy', scale=1, color='r', label='PC1') plt.quiver(0, 0, eigenvectors[0, 1]*eigenvalues[1], eigenvectors[1, 1]*eigenvalues[1], angles='xy', scale_units='xy', scale=1, color='g', label='PC2') plt.title("原始数据与主成分方向") plt.legend() # 投影后的数据 plt.subplot(1, 2, 2) plt.scatter(projected_data, np.zeros_like(projected_data), alpha=0.6) plt.title("数据在第一主成分上的投影") plt.tight_layout() plt.show()

这个可视化清晰地展示了PCA如何找到数据中能量最大的方向，并将数据投影到这个方向上，同时最大限度地保留了原始数据的能量（方差）。