Ridge 回归简介

Ridge 回归（岭回归）是一种专用于共线性数据分析的有偏估计回归方法。它实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法。

核心原理

Ridge 回归在普通最小二乘法（OLS）的损失函数基础上，增加了一个 L2 正则化项（即系数的平方和乘以惩罚参数 alpha）：

$$ Loss = \sum_{i=1}^{n} (y_i - \hat{y}i)^2 + \alpha \sum \beta_j^2 $$}^{p

其中：

• 第一部分是残差平方和（RSS）。
• 第二部分是 L2 惩罚项。
• $\alpha$ (alpha) 是正则化强度参数。当 $\alpha = 0$ 时，Ridge 回归退化为普通线性回归；当 $\alpha$ 很大时，系数会被压缩接近于 0，但不会完全等于 0。

主要特点

1. 处理多重共线性：当特征之间存在高度相关性时，OLS 估计的方差会很大，Ridge 回归通过引入偏差显著减小方差，提高模型的泛化能力。
2. 系数收缩：它会将回归系数向零收缩，防止过拟合，尤其适用于特征数量多于样本数量或特征间存在强相关性的场景。
3. 保留所有特征：与 Lasso 回归不同，Ridge 回归不会将系数压缩为严格的零，因此它不具备特征选择功能，所有特征都会保留在模型中。

适用场景

• 数据集存在多重共线性问题。
• 需要防止模型过拟合。
• 认为所有特征对目标变量都有一定贡献，不希望剔除任何特征。

结果展示说明

本部分描述运行 main.py 脚本后的预期文本输出结果。

输入操作

用户在终端或命令行中执行以下命令：

python main.py

预期输出描述

程序运行结束后，控制台将依次打印出四行文本信息，具体内容逻辑如下：

1. 第一行：显示计算出的 Ridge 回归系数数组。

   • 格式为：Ridge 回归系数：[数值 1 数值 2 数值 3 数值 4 数值 5]
   • 由于设置了随机种子且使用了正则化，这些数值会接近真实系数 [3.5, -2.0, 0.0, 1.5, -4.0]，但会因为 alpha=1.0 的惩罚作用而略微向 0 收缩（绝对值略小于真实值）。

2. 第二行：显示模型的截距项。

   • 格式为：截距：X.XXXX
   • 由于生成数据时未设置额外截距且数据已中心化趋势不明显，该值应非常接近 0。

3. 第三行：显示模型在测试集上的均方误差（MSE）。

   • 格式为：均方误差 (MSE): X.XXXX
   • 该数值反映了预测值与真实值之间的平均差异平方，数值越小代表拟合效果越好。考虑到噪声水平，该值应在 0.25 左右波动。

4. 第四行：显示模型的决定系数（R² Score）。

   • 格式为：R² 分数：X.XXXX
   • 该数值范围通常在 0 到 1 之间，越接近 1 表示模型对数据的解释能力越强。在当前模拟数据下，预期输出应在 0.90 以上，表明模型拟合良好。