缺失值多重插补 (Multiple Imputation)

概述

本模块旨在解决数据集中存在的缺失值问题。与简单的均值/中位数填补或删除缺失行不同，多重插补 (Multiple Imputation, MI) 是一种更高级的统计技术。

核心原理

多重插补通过以下步骤工作：

1. 创建多个副本：为原始数据集创建 $m$ 个（通常为 5-10 个）完整的副本。
2. 随机填补：在每个副本中，利用观测到的数据分布，通过模型（如链式方程 MICE）对缺失值进行预测，并加入随机噪声以反映预测的不确定性。
3. 独立分析：对这 $m$ 个完整数据集分别进行统计分析或机器学习建模。
4. 结果合并：将 $m$ 次分析的结果按照 Rubin 规则进行合并，得到最终的参数估计和标准误。

优势

• 保留不确定性：单次填补往往低估了方差，而多重插补通过引入随机性保留了缺失值带来的不确定性。
• 减少偏差：相比删除法，能更有效地利用现有数据，减少因数据缺失导致的统计偏差。
• 适用性广：特别适用于缺失机制为 MAR (Missing at Random) 的情况。

使用方法

本实现基于 Python 的 scikit-learn 库中的 IterativeImputer (MICE 算法实现)。脚本会自动生成多个填补后的 CSV 文件，供用户 downstream 分析使用。

结果展示说明

本部分描述程序运行时的输入输出逻辑，无需图片即可理解流程。

1. 输入阶段

• 用户操作*：

用户在项目根目录下准备一个名为 data_with_missing.csv 的文件。该文件应包含表头，且部分单元格为空（代表缺失值 NaN）。

• 示例输入文件内容 (data_with_missing.csv)*：

age,income,score
25,50000,88
30,,92
,62000,
45,75000,76

• (注：第二行 income 缺失，第三行 age 和 score 缺失)*

2. 执行命令

• 用户操作*：

在终端或命令行中运行：

python main.py

3. 输出阶段

A. 控制台文本输出

程序运行成功后，终端将显示以下信息：

1. 数据加载确认：

   数据加载成功，形状：(4, 3)

2. 缺失值统计：

   列出每列的缺失数量，例如：
   text 缺失值统计: age 1 income 1 score 1 dtype: int64

3. 生成进度：

   依次打印生成的插补数据集文件名：
   text 已生成第 1 个插补数据集：imputed_dataset_1.csv 已生成第 2 个插补数据集：imputed_dataset_2.csv ... (直到第 5 个) 已生成第 5 个插补数据集：imputed_dataset_5.csv

4. 完成提示：

   多重插补完成。共生成 5 个完整数据集供后续分析。

B. 生成的文件内容

程序将在同一目录下生成 5 个新的 CSV 文件 (imputed_dataset_1.csv 至 imputed_dataset_5.csv)。

• 关键特征描述*：
• 完整性：所有生成的文件中，原本缺失的单元格现在都填入了具体的数值，不再有空白。

• 差异性：由于采用了多重插补（每次运行改变了随机种子），这 5 个文件中填补进去的数值是略有不同的。

• 示例对比 (仅展示填补部分的差异)*：

• 文件 imputed_dataset_1.csv 中，第二行的 income 可能被填补为 54200。

• 文件 imputed_dataset_2.csv 中，同一位置的 income 可能被填补为 53850。
• 文件 imputed_dataset_3.csv 中，同一位置的 income 可能被填补为 54510。

这种数值的微小波动正是多重插补的核心体现，它模拟了缺失值的真实分布范围，而非给出一个死板的确定值。用户后续可读取这 5 个文件分别进行回归或分类训练，最后取结果的平均值作为最终结论。