【C0164】LLM文本指标增强出口预测：机器学习模型与实证复现

本项目围绕“非结构化数据能否增强出口预测”这一主题展开，基于公开复现材料整理形成一套可运行的核心代码与数据复现包。项目以出口预测为研究对象，在传统结构化宏观变量的基础上，引入大语言模型生成的文本指标，比较加入 LLM 指标前后模型预测效果的变化。

传统出口预测通常依赖工业生产、价格指数、PMI、汇率、国际需求、物流运输、全球风险等结构化数据。这些变量具有可量化、可建模的优势，但也存在发布滞后、难以及时捕捉市场预期和外部风险冲击等问题。非结构化文本中包含大量关于政策变化、国际贸易环境、供应链扰动、市场预期和风险情绪的信息，因此有可能为出口预测提供额外增量信息。

本复现包主要包括结构化宏观数据、LLM 文本指标、核心模型代码、预训练模型文件、特征列文件、标准化器文件以及核心运行脚本。代码覆盖基准预测、SHAP 解释、机制检验、词典法对比、国别/省份扩展检验和多特征引入检验等模块。为了便于本地运行，复现包对路径读取、缺失字段处理、scaler 列对齐、GPU/CPU 兼容、Excel 输出等部分进行了本地化适配，使其能够在 Windows + Anaconda 环境下稳定执行。

项目使用 ARIMA、GBDT、LightGBM、随机森林、XGBoost、LSTM 等多类模型进行对比，并重点展示 XGBoost 模型在加入 LLM 指标后的预测表现。复现结果显示，加入 LLM 文本指标后，多数机器学习模型的预测误差下降，尤其在 T+6 中长期预测中提升更明显，说明非结构化文本信息能够补充传统结构化宏观变量难以捕捉的预期与风险信号。

1. XGBoost 基准预测结果

XGBoost 是本项目中表现最稳定的核心模型。结果显示，在 T+1、T+3、T+6 三个预测步长下，加入 LLM 文本指标后，MAPE 均下降，R² 均提高。

从结果看，加入 LLM 指标后，XGBoost 模型在三个预测步长上均取得更低误差。其中，T+6 的 MAPE 从 0.0533 降至 0.0318，下降幅度约 40.4%，说明文本指标对中长期出口预测具有较明显的增强作用。

2. 多模型对比结果

除 XGBoost 外，GBDT、LightGBM 和随机森林等模型也显示出较一致的改善趋势。多数情况下，加入 LLM 文本指标后，模型的 MAPE 明显低于未加入文本指标的 noLLM 模型。

多模型结果表明，LLM 文本指标的预测增益并不是只出现在某一个模型中，而是在多种树模型中都具有较稳定的表现。

3. 稳健性检验结果

项目进一步进行了重复性检验、文本版本替换、MASK 检验、同一起点检验和 TSCV 滚动预测检验。其中，TSCV 更接近真实预测场景，因为它模拟了随着时间推进不断扩展训练集并进行滚动预测的过程。

滚动预测结果表明，加入 LLM 指标后的预测提升并不是固定样本划分造成的偶然结果，而是在更接近真实预测的设定下仍然成立。

4. SHAP 解释结果

SHAP 解释结果显示，出口预测主要受到国内供给、国际需求、世界贸易形势、出口自身滞后项和 LLM 文本指标等因素影响。在 withLLM 模型中，LLM 指标本身也具有一定解释贡献。

可以看到，LLM 指标在 T+6 中的贡献占比最高，这与 T+6 预测误差下降幅度最大的结果相互印证，说明文本信息可能更擅长捕捉中长期预期变化和外部风险变化。

5. 机制检验结果

机制检验将 LLM 指标中可以被结构化变量解释的部分剥离出去，只保留残差信息，再将残差指标加入预测模型。结果显示，即便只使用 LLM 残差信息，模型预测效果仍然得到改善。

该结果说明，LLM 指标并不是对结构化变量的简单重复，而是包含了传统宏观数据难以完全覆盖的额外信息。