LASSO 回归简介 (基于 glmnet)

什么是 LASSO？

LASSO (Least Absolute Shrinkage and Selection Operator) 是一种正则化回归方法。它在普通最小二乘法 (OLS) 的损失函数基础上，增加了一个 L1 惩罚项（系数绝对值之和）。

其目标函数为：
$$ \min_{\beta} \left( \sum_{i=1}^{n} (y_i - \beta_0 - \sum_{j=1}^{p} x_{ij}\beta_j)^2 + \lambda \sum_{j=1}^{p} |\beta_j| \right) $$

其中 $\lambda$ (Lambda) 是控制惩罚力度的参数。

核心特点

1. 特征选择：与 Ridge 回归 (L2 惩罚) 不同，LASSO 可以将不重要的特征系数直接压缩为 0，从而实现自动特征选择。
2. 防止过拟合：通过限制系数的大小，降低模型复杂度，提高在未知数据上的泛化能力。
3. 处理高维数据：特别适用于特征数量 ($p$) 大于样本数量 ($n$) 的情况。

关于 glmnet 包

glmnet 是 R 语言中实现广义线性模型正则化路径的最流行包。它使用坐标下降算法高效地计算整个正则化路径上的解。在本示例中，我们利用 cv.glmnet 函数通过 K 折交叉验证自动寻找最优的 $\lambda$ 值，以平衡偏差和方差。

结果展示说明

本部分描述运行 main.R 脚本后的预期文本输出。

1. 输入操作

用户在 R 环境中执行以下命令：

source("main.R")

或者在 RStudio 中点击 "Source" 按钮运行脚本。

2. 预期输出内容

程序运行完毕后，控制台将打印以下格式的文本信息：

第一部分：最佳参数

首先显示通过交叉验证找到的最佳正则化参数。

输出示例:
最佳 Lambda 值 (lambda.min): 0.054321

第二部分：非零系数列表

接着列出未被压缩为 0 的特征及其对应的系数估计值。由于模拟数据中只有前 5 个特征是有效的，理想情况下，输出应主要包含 X1 到 X5，而其他特征 (X6-X20) 不应出现在此列表中（或系数显示为 0）。

输出示例:
非零系数特征及其估计值:
特征 X1: 1.9823
特征 X2: 2.0145
特征 X3: 1.8976
特征 X4: 2.1032
特征 X5: 1.9540

• (注：具体数值会因随机种子和噪声略有波动，但应接近真实值 2)*

第三部分：截距项

最后显示模型的截距项估计值。

输出示例:
截距项:
Intercept: 0.0234

结论解读

通过观察输出，用户可以确认 LASSO 模型成功识别出了前 5 个重要特征（系数非零），并将剩余的噪声特征系数压缩为 0（未在列表中显示），证明了其在特征选择方面的有效性。