Logit/Probit 回归简介

核心概念

Logit 和 Probit 回归是用于处理二分类问题的广义线性模型，适用于因变量为二元离散值（如 0/1、是/否）的场景。

数学原理

• Logit 模型：使用逻辑函数（Sigmoid）作为链接函数

$$P(Y=1|X) = \frac{1}{1 + e^{-(\beta_0 + \beta_1X_1 + ... + \beta_kX_k)}}$$

• Probit 模型：使用标准正态分布累积分布函数作为链接函数

$$P(Y=1|X) = \Phi(\beta_0 + \beta_1X_1 + ... + \beta_kX_k)$$

主要区别

应用场景

• 信用评分（违约/不违约）
• 医疗诊断（患病/健康）
• 营销响应（购买/不购买）
• 社会科学中的二元选择行为分析

代码实现说明

本实现包含：

1. 使用 scikit-learn 进行快速建模和评估
2. 使用 statsmodels 获取详细统计推断结果
3. 同时展示 Logit 和 Probit 模型的对比
4. 提供新样本的概率预测功能

结果展示说明

输入数据

程序内置生成 1000 条模拟数据：

• 特征：2 个标准正态分布随机变量 (X1, X2)
• 标签：由线性组合加噪声生成的二元变量 (y)
• 划分：80% 训练集，20% 测试集

输出内容

1. Scikit-learn 模型评估

执行后将输出：

=== Scikit-learn Logit 回归结果 ===
混淆矩阵:
 [[92  8]
 [ 7 93]]
分类报告:
               precision    recall  f1-score   support
           0       0.93      0.92      0.92       100
           1       0.92      0.93      0.92       100
    accuracy                           0.92       200
   macro avg       0.92      0.92      0.92       200
weighted avg       0.92      0.92      0.92       200

2. 统计模型摘要

分别输出 Logit 和 Probit 的详细统计表格，包含：

• 系数估计值 (coef)
• 标准误 (std err)
• z 统计量 (z)
• P 值 (P>|z|)
• 置信区间 ([0.025, 0.975])

示例片段：

=== Statsmodels Logit 摘要 ===
                 coef    std err          z      P>|z|      [0.025      0.975]

- -----------------------------------------------------------------------------
   const           0.1234    0.0678      1.820      0.069      -0.009       0.256

x1              0.8765    0.0712     12.310      0.000       0.737       1.016
x2              0.7654    0.0698     10.965      0.000       0.629       0.902

=== Statsmodels Probit 摘要 ===
                 coef    std err          z      P>|z|      [0.025      0.975]

- -----------------------------------------------------------------------------
   const           0.0789    0.0412      1.915      0.056      -0.002       0.160

x1              0.5123    0.0425     12.054      0.000       0.429       0.595
x2              0.4456    0.0418     10.660      0.000       0.364       0.527

3. 新样本预测

对两个预设新样本输出预测概率：

=== 新样本预测概率 ===
样本 1: Logit 概率=0.7821, Probit 概率=0.7654
样本 2: Logit 概率=0.2345, Probit 概率=0.2189

结果解读

1. 混淆矩阵显示模型在测试集上正确分类了 185/200 个样本
2. 系数显著性：所有特征 P 值<0.05，表明对结果有显著影响
3. 模型差异：Logit 系数绝对值通常约为 Probit 的 1.6-1.8 倍，但预测概率相近
4. 预测应用：可直接输出任意新样本属于正类的概率值