Voting 集成分类简介

什么是 Voting Classifier？

Voting Classifier（投票分类器）是一种简单的集成学习算法，它通过结合多个基分类器（Base Classifiers）的预测结果来提高整体的泛化能力和鲁棒性。其核心思想是“三个臭皮匠，顶个诸葛亮”，即多个弱分类器的组合往往优于单个强分类器。

工作原理

Voting Classifier 主要分为两种投票机制：

1. 硬投票 (Hard Voting):

   • 每个基分类器对样本进行预测，输出具体的类别标签。
   • 最终结果由出现次数最多的类别决定（少数服从多数）。
   • 适用于所有基分类器都能直接输出类别标签的场景。

2. 软投票 (Soft Voting):

   • 每个基分类器输出属于各个类别的概率预测。
   • 将所有分类器的概率值取平均，最终选择平均概率最高的类别作为预测结果。
   • 通常性能优于硬投票，但要求所有基分类器必须支持 predict_proba 方法（如 SVM 需设置 probability=True）。

本代码示例说明

本示例使用 Python 的 scikit-learn 库构建了一个包含逻辑回归、决策树和支持向量机（SVM）的集成模型。代码分别演示了硬投票和软投票的实现过程，并在生成的模拟数据集上评估了它们的准确率、精确率、召回率和 F1 分数。

适用场景

• 当单个模型表现不稳定或容易过拟合时。
• 当不同模型擅长捕捉数据的不同特征模式时。
• 需要提高模型预测的稳健性和准确性时。

结果展示

本部分描述运行 main.py 后的控制台输出情况。

输入描述

程序无需用户手动输入，运行时会自动执行以下步骤：

1. 调用 make_classification 生成 1000 条样本、20 个特征的模拟二分类数据集。
2. 将数据集按 7:3 的比例划分为训练集和测试集。
3. 初始化逻辑回归、决策树、SVM 三个基分类器。
4. 分别构建硬投票和软投票集成模型并进行训练。
5. 在测试集上进行预测并计算评估指标。

输出描述

程序运行结束后，终端将依次打印以下内容：

第一部分：硬投票 (Hard Voting) 结果

• 首先输出一行标题：=== 硬投票 (Hard Voting) 结果 ===
• 接着输出一行准确率数值，格式为：准确率：0.XXXX（数值通常在 0.85 到 0.92 之间波动）。
• 随后输出详细的分类报告（classification report），包含以下列：
  • precision (精确率)
  • recall (召回率)
  • f1-score (F1 分数)
  • support (样本支持数)
• 报告会分别列出类别 0 和类别 1 的各项指标，最后一行显示 accuracy、macro avg 和 weighted avg 的汇总数据。

第二部分：软投票 (Soft Voting) 结果

• 输出一行空行后，打印标题：=== 软投票 (Soft Voting) 结果 ===
• 接着输出一行准确率数值，格式为：准确率：0.XXXX（通常软投票的准确率会略高于或等于硬投票）。
• 随后输出与硬投票格式完全一致的详细分类报告，展示软投票机制下各类别的精确率、召回率及 F1 分数。

预期结论

通过观察输出文本可以发现，集成学习（无论是硬投票还是软投票）的最终准确率通常高于单独使用决策树或 SVM 的表现，且软投票由于利用了概率信息，往往能提供更平滑、更准确的决策边界。