TF-IDF 文本向量化简介

TF-IDF（Term Frequency-Inverse Document Frequency）是一种用于信息检索和文本挖掘的常用加权技术。它用于评估一个词对于一个文件集或一个语料库中的其中一份文件的重要程度。

核心原理

1. 词频 (TF): 某个词在文章中出现的频率。
2. 逆文档频率 (IDF): 衡量一个词普遍重要性的指标。如果一个词在很多文章中都出现，那么它的 IDF 值就会较低。

公式：

• $TF(t, d) = \frac{\text{词 t 在文档 d 中出现的次数}}{\text{文档 d 的总词数}}$
• $IDF(t) = \log \frac{\text{语料库中文档总数}}{\text{包含词 t 的文档数 + 1}}$
• $TF\text{-}IDF = TF \times IDF$

本代码功能

本脚本使用 Python 的 scikit-learn 库，对预设的中文文档列表进行 TF-IDF 向量化处理，并将结果以 JSON 格式打印输出，展示每个文档中关键词及其对应的权重分数。

结果展示说明

输入内容

程序内部预定义了以下三句中文文本作为输入文档集合：

1. "机器学习是人工智能的一个子集"
2. "深度学习是机器学习的一种方法"
3. "自然语言处理涉及文本分析和理解"

无需用户手动输入，直接运行脚本即可。

输出内容描述

运行 python main.py 后，控制台将输出一段格式化的 JSON 数据。该数据包含一个列表，列表中有三个对象，分别对应上述三篇文档。

每个对象包含以下字段：

• document_id: 文档的索引编号（0, 1, 2）。
• content: 原始文档内容。

• tfidf_vector: 一个字典，列出了该文档中具有非零 TF-IDF 分数的关键词及其计算出的权重值（保留 4 位小数）。

• 预期输出逻辑示例*：

• 对于第一篇文档，关键词如“机器学习”、“人工智能”、“子集”等会出现在 tfidf_vector 中，并附带具体的数值权重。如果某个词（如“是”）被视作停用词或在所有文档中频繁出现导致权重极低，可能不会显示或数值很小。
• 对于第二篇文档，“深度学习”、“方法”等词的权重会较高。
• 输出将清晰地展示哪些词在区分不同文档时最具代表性（即 TF-IDF 值最高）。

最终用户可以看到纯文本的 JSON 字符串，直观地理解每个文档被转化为了怎样的数值向量表示。