OLS 回归 (statsmodels 完整模板)

概述

本模板展示了如何使用 Python 的 statsmodels 库进行普通最小二乘法 (Ordinary Least Squares, OLS) 线性回归分析。与 scikit-learn 侧重于预测不同，statsmodels 更侧重于统计推断，提供详细的回归系数、P 值、置信区间以及模型拟合优度统计量。

核心步骤

1. 数据准备：构建特征矩阵 $X$ 和目标向量 $y$。
2. 添加常数项：使用 sm.add_constant() 为模型添加截距项（除非确定不需要截距）。
3. 模型定义：实例化 sm.OLS(endog, exog)，其中 endog 是因变量，exog 是自变量。
4. 模型拟合：调用 .fit() 方法计算回归参数。
5. 结果查看：使用 .summary() 打印标准的统计分析报告。

依赖库

• statsmodels
• pandas
• numpy

结果展示说明

本部分描述运行 main.py 后的控制台输出内容。

1. 统计摘要表 (results.summary())

当代码执行到 print(results.summary()) 时，终端将输出一个格式化的表格，包含以下主要部分：

• 顶部信息：

  • Dep. Variable: 显示因变量名称 (target)。
  • No. Observations: 样本数量 (本例为 100)。
  • Model: 显示模型类型 (OLS)。
  • R-squared: 决定系数，表示模型对数据的解释程度 (预期值接近 0.85-0.95，因为数据是模拟的且噪声较小)。
  • Adj. R-squared: 调整后的 R 方。
  • F-statistic: F 统计量及其对应的概率 Prob (F-statistic)，用于检验模型整体显著性。

• 系数表 (中间部分)：

  • 列出了 const (截距), feature_1, feature_2 三行。
  • coef: 回归系数。预期 feature_1 接近 3.0，feature_2 接近 5.0，const 接近 0.0。
  • std err: 系数的标准误。
  • t: t 统计量。
  • P>|t|: P 值。由于是强相关模拟数据，这两个特征的 P 值应极小 (显示为 0.000)，表示统计显著。
  • [0.025 0.975]: 95% 置信区间。

• 底部残差统计：

  • 包含 Omnibus, Durbin-Watson, Jarque-Bera 等检验统计量，用于评估残差的正态性和自相关性。

2. 关键参数提取

在摘要表之后，代码会继续输出两行自定义文本：

• 第一行：

  • 输入：无 (自动执行)
  • 输出格式：R-squared: [数值]
  • 描述：单独打印保留 4 位小数的 R 方值。

• 第二行：

  • 输入：无 (自动执行)
  • 输出格式：Coefficients: [截距值 feature_1 系数 feature_2 系数]
  • 描述：以数组形式打印三个回归系数的具体数值。