岭回归Ridge Regression也称为L2正则化回归或蒂霍诺夫正则化Tikhonov Regularization是一种用于分析多重共线性数据即自变量之间高度相关的线性回归分析方法。简单来说它是标准线性回归OLS的一种改进版本旨在解决标准线性回归在特定条件下“不稳定”或“过拟合”的问题。以下是关于岭回归的核心要点解析1. 核心问题为什么要用岭回归在标准的线性回归中我们的目标是最小化预测值与真实值之间的误差通常使用均方误差MSE。其数学解通常涉及计算矩阵XTXX^TXXTX的逆矩阵(XTX)−1(X^TX)^{-1}(XTX)−1。然而当出现以下情况时标准线性回归会失效或表现不佳多重共线性Multicollinearity特征自变量之间存在高度相关性。特征数量多于样本数量矩阵XTXX^TXXTX可能不可逆奇异矩阵导致无法求解。过拟合Overfitting模型为了拟合训练数据中的噪声导致系数weights变得极大且不稳定。2. 岭回归的解决方案L2 正则化岭回归通过在损失函数中加入一个**惩罚项Penalty Term**来解决上述问题。标准线性回归的损失函数J(β)∑i1n(yi−y^i)2 J(\beta) \sum_{i1}^{n} (y_i - \hat{y}_i)^2J(β)i1∑n​(yi​−y^​i​)2即残差平方和岭回归的损失函数J(β)∑i1n(yi−y^i)2λ∑j1pβj2 J(\beta) \sum_{i1}^{n} (y_i - \hat{y}_i)^2 \lambda \sum_{j1}^{p} \beta_j^2J(β)i1∑n​(yi​−y^​i​)2λj1∑p​βj2​第一部分∑(yi−y^i)2\sum (y_i - \hat{y}_i)^2∑(yi​−y^​i​)2依然是最小化预测误差。第二部分λ∑βj2\lambda \sum \beta_j^2λ∑βj2​L2 正则化项。βj\beta_jβj​是回归系数。λ\lambdaλ(Lambda) 是正则化参数控制惩罚的力度。3. 关键机制系数收缩Shrinkage岭回归的核心思想是限制系数的大小。通过最小化“误差 系数平方和”算法会倾向于选择较小的系数值。如果λ0\lambda 0λ0岭回归退化为标准线性回归。如果λ\lambdaλ很大系数会被强烈压缩接近于 0但通常不会正好等于 0这是它与 L1 正则化/Lasso 的主要区别。4. 岭回归的主要优点提高数值稳定性在公式(XTXλI)−1(X^TX \lambda I)^{-1}(XTXλI)−1中加入λI\lambda IλI其中III是单位矩阵λ0\lambda 0λ0可以确保矩阵始终可逆且条件数良好。这就是你在前文提到的 ERQ 算法中使用岭回归的原因——它确保了矩阵求逆的计算稳定性。处理多重共线性当特征高度相关时岭回归能提供比标准回归更稳定的系数估计。防止过拟合通过惩罚大系数降低了模型的复杂度提高了模型在未知数据上的泛化能力。5. 岭回归 vs. Lasso (L1 正则化)特性岭回归 (Ridge, L2)Lasso (L1)惩罚项系数的平方和 (∑β2\sum \beta^2∑β2)系数的绝对值之和 ($\sum系数变化系数缩小趋向于 0 但不等于 0可能将某些系数直接压缩为0特征选择保留所有特征只是权重变小可以进行特征选择稀疏解适用场景所有特征都重要或存在多重共线性希望剔除无关特征简化模型6. 结合ERQ 论文Zhang, K., et al. “ERQ: Error Reduction for Post-Training Quantization of Vision Transformers.”ICML 2024.作者使用岭回归的目的是计算稳定性公式中的λ1I\lambda_1 Iλ1​I确保矩阵E[xˉxˉT]λ1IE[\bar{x}\bar{x}^T] \lambda_1 IE[xˉxˉT]λ1​I总是可逆的避免了计算错误。抑制离群值通过限制权重调整量δW∗\delta W^*δW∗的大小防止模型对某些极端数据点离群值过度反应。优化量化表现通过稳定地求解最优权重调整使得量化后的模型误差最小化。总结岭回归是一种通过“牺牲少量偏差”来大幅降低“方差”从而获得更稳定、更可靠预测模型的统计技术。