LASSO 回归简介

LASSO (Least Absolute Shrinkage and Selection Operator) 回归是一种线性回归分析技术，它在损失函数中加入了 L1 正则化项。与普通最小二乘法不同，LASSO 能够将某些特征的系数压缩至恰好为零，从而实现特征选择的功能。

核心原理

• 损失函数: $Loss = RSS + \alpha \sum |\beta_j|$
  • $RSS$: 残差平方和
  • $\alpha$: 正则化参数，控制惩罚力度
  • $\beta_j$: 第 j 个特征的系数
• 作用:
  1. 防止过拟合，提高模型泛化能力。
  2. 自动筛选重要特征，生成稀疏模型，增强可解释性。

本例说明

本代码使用 scikit-learn 库中的 Lasso 类，基于生成的模拟高维数据进行训练。通过设置 alpha=0.1，观察模型如何压缩不重要特征的系数，并评估其在测试集上的表现。

结果展示描述

1. 运行命令

在终端或命令行中输入以下命令运行脚本：

python main.py

2. 预期输出内容

程序运行后，控制台将依次输出以下文本信息：

1. LASSO 回归系数:

   • 输出一个包含 20 个数值的数组。其中部分数值将精确显示为 0.0（表示这些特征被模型剔除），其余为非零实数。

2. 非零系数个数:

   • 输出一个整数（例如：8）。该数字小于总特征数 20，直观展示了 LASSO 的特征选择效果。

3. 模型在测试集上的得分 (R^2):

   • 输出一个介于 0 到 1 之间的浮点数（例如：0.8534），表示模型对测试数据的拟合优度。

4. 预测示例:

   • 首先显示输入样本的前 5 个特征值。
   • 随后显示基于该输入计算出的预测目标值（保留 4 位小数）。

3. 输出示例片段

LASSO 回归系数：[ 0.          12.4532     0.         -3.2109 ... ]
非零系数个数：7
模型在测试集上的得分 (R^2): 0.8621
输入样本特征向量 (前 5 维): [0.54 -1.23 0.02 ...]...
预测目标值：45.6789