BERTopic 主题建模简介

什么是 BERTopic？

BERTopic 是一种基于预训练语言模型（如 BERT）和聚类算法的主题建模工具。与传统的 LDA 主题模型不同，BERTopic 利用句向量嵌入（Sentence Embeddings）来捕捉文档的语义信息，从而生成更具连贯性和可解释性的主题。

核心优势

1. 语义理解能力强：基于 Transformer 架构，能理解上下文语境，而非仅仅依赖词频统计。
2. 动态主题数量：不需要预先指定主题数量（num_topics），算法会根据数据密度自动确定最佳主题数。
3. 多语言支持：通过加载不同的预训练模型，轻松支持中文、英文等多种语言。
4. 可解释性：使用 c-TF-IDF 算法从每个簇中提取最具代表性的关键词。

工作流程

1. 嵌入（Embedding）：将文档转换为高维向量。
2. 降维（Dimensionality Reduction）：使用 UMAP 降低向量维度，保留局部结构。
3. 聚类（Clustering）：使用 HDBSCAN 对降维后的向量进行聚类，形成主题簇。
4. 关键词提取（Topic Representation）：利用 c-TF-IDF 从每个簇中提取关键词描述主题。

适用场景

• 新闻文章分类
• 用户评论情感与话题分析
• 学术论文主题挖掘
• 客服工单自动归类

结果展示说明

本部分描述运行 main.py 后，在控制台或程序中预期的文字输出内容。

1. 主题概览信息 (get_topic_info())

• 输入操作*：

执行代码 print(topic_model.get_topic_info())

• 预期输出描述*：

系统将打印一个表格（DataFrame 格式），包含以下列：

• Topic：主题 ID 编号（-1 通常代表离群点/噪声数据）。
• Count：该主题下包含的文档数量。
• Name：主题名称，通常由该主题下权重最高的前两个关键词组成（例如："0_space_launch", "1_game_video"）。

• Representation：该主题的核心关键词列表及其对应的 c-TF-IDF 分数。例如：[('space', 0.045), ('launch', 0.032), ('nasa', 0.028)...]。

• 示例文本片段*：

   Topic  Count             Name                        Representation
0     -1    150        -1_canary                [(canary, 0.05), (test, 0.04)...]
1      0    420   0_space_launch      [(space, 0.045), (launch, 0.032), (nasa...]
2      1    380    1_game_video       [(game, 0.051), (video, 0.040), (play...]
...

2. 特定主题详情 (get_topic(0))

• 输入操作*：

执行代码 print(topic_model.get_topic(0)) （假设查询的是 ID 为 0 的主题）

• 预期输出描述*：

系统将输出一个列表，列出该主题下最具代表性的关键词及其权重分数，按相关性从高到低排序。

• 示例文本片段*：

[('space', 0.0452), ('launch', 0.0321), ('nasa', 0.0298), ('shuttle', 0.0275), ('orbit', 0.0250)]

这表明主题 0 主要讨论关于“太空”、“发射”和“NASA”的内容。

3. 新文档主题预测 (transform())

• 输入操作*：

输入一段新文本，例如："人工智能正在改变我们的生活，深度学习技术突飞猛进。"
执行代码 topic_model.transform([new_doc])

• 预期输出描述*：

系统将返回两个数组：

1. 主题 ID：一个整数，表示该新文档被归类到的主题编号（例如：[5]，表示属于第 5 号主题）。
2. 概率分布：一个浮点数数组，表示该文档属于各个主题的概率值。其中对应主题 ID 的概率值最高，其余较低或为 0。

• 示例文本片段*：

新文档所属主题：5
概率分布：[0.0, 0.0, 0.0, 0.0, 0.0, 0.85, 0.0, ...]

这表示模型以 85% 的置信度将该文档判定为第 5 号主题（假设第 5 号主题是关于“科技/AI”的）。