词频统计工具 (jieba)

项目概述

本项目是一个基于 Python 和 jieba 库的简单中文词频统计工具。它能够对输入的中文文本进行自动分词，去除无意义的单字，并统计出出现频率最高的词汇。

核心功能

• 中文分词：利用 jieba 库强大的分词能力，准确识别中文词语。
• 数据清洗：自动过滤长度为 1 的字符及空白符，提高统计准确性。
• 频率排序：使用 collections.Counter 快速计算并按频率降序排列。
• 灵活配置：支持自定义返回的高频词数量（top_n）。

依赖安装

在使用本脚本前，请确保已安装 jieba 库：

pip install jieba

适用场景

• 文本数据挖掘预处理
• 关键词提取辅助
• 中文自然语言处理入门学习

结果展示

本部分描述程序运行时的输入与输出对应关系。

场景一：运行默认示例

• 输入操作*：

直接运行 python main.py，程序将使用代码内部预设的 sample_text 变量作为输入。
预设文本内容为：

"Python 是一门非常流行的编程语言，Python 在数据科学领域应用广泛。很多人喜欢 Python，因为 Python 简洁易读。"

• 输出结果*：

控制台将首先打印原始文本，随后打印词频统计的前 5 名结果。由于预设文本中“Python”出现了 4 次，其他双字词如“语言”、“数据”等出现次数较少，预期输出如下：

输入文本：
Python 是一门非常流行的编程语言，Python 在数据科学领域应用广泛。很多人喜欢 Python，因为 Python 简洁易读。

词频统计结果（前 5 名）：
Python: 4 次
流行：1 次
语言：1 次
编程：1 次
数据：1 次

• (注：具体排序可能因 jieba 版本或分词细微差异导致同频次词语顺序略有不同)*

场景二：修改输入文本

• 输入操作*：

用户修改 main.py 中 sample_text 变量的内容，例如改为：

"人工智能人工智能是未来的方向，深度学习助力人工智能发展。"

然后运行 python main.py。

• 输出结果*：

控制台将输出针对新文本的统计结果。其中“人工智能”出现了 3 次，“深度”、“学习”、“未来”等各出现 1 次。预期输出片段如下：

输入文本：
人工智能人工智能是未来的方向，深度学习助力人工智能发展。

词频统计结果（前 5 名）：
人工智能：3 次
未来：1 次
方向：1 次
深度：1 次
学习：1 次

场景三：调用函数接口

• 输入操作*：

在其他 Python 脚本中导入该模块，并传入自定义字符串和特定的 top_n 参数：

from main import count_words
text = "你好世界你好"
result = count_words(text, top_n=2)
print(result)

• 输出结果*：

程序将返回一个包含元组的列表，仅显示频率最高的 2 个词：

[('你好', 2), ('世界', 1)]