quanteda 文本分析简介

什么是 quanteda？

quanteda 是 R 语言中一个强大且高效的包，专门用于量化文本数据分析。它提供了从文本导入、清洗、处理到统计建模和可视化的完整工作流。其核心优势在于处理大规模文本数据时的速度和内存效率。

本脚本功能概述

本 main.R 脚本演示了使用 quanteda 进行基础文本分析的典型流程：

1. 数据加载：载入 R 内置的美国总统就职演说数据集 (data_corpus_inaugural)，并筛选出 2000 年以后的演讲。
2. 构建 DFM (Document-Feature Matrix)：将非结构化文本转换为结构化的文档 - 特征矩阵。在此过程中执行了以下预处理步骤：
   • 转换为小写
   • 去除标点符号和数字
   • 去除英语停用词 (如 "the", "and", "is" 等)
3. 描述性统计：提取并展示整个语料库中出现频率最高的前 10 个词汇。
4. 关键词分析 (Keywords)：通过卡方检验 ($\chi^2$)，对比 2020 年演讲内容与历年其他演讲内容的差异，找出 2020 年特有的显著关键词。
5. 共现分析准备：构建前 20 个高频词的词项共现矩阵 (Feature Co-occurrence Matrix)，为后续的网络分析提供数据基础。

运行环境要求

• R 版本 >= 4.0
• 已安装套件：quanteda, quanteda.textplots, quanteda.textstats

如何运行

在 R 或 RStudio 环境中，确保已安装所需包，然后直接 sourcing main.R 文件即可看到控制台输出结果。

结果展示

本部分描述运行 main.R 后，在 R 控制台（Console）中将输出的文字结果。

1. 文档 - 特征矩阵预览 (head(text_dfm, 5))

• 输入操作*：代码执行 print(head(text_dfm, 5))。
• 输出描述*：

控制台将打印一个稀疏矩阵的前 5 行。每一行代表一篇演讲文档（例如：2001-Bush, 2004-Bush, 2009-Obama 等），每一列代表一个经过清洗后的特征词（如 "america", "people", "freedom"）。矩阵中的数值表示该词在对应文档中出现的次数。大部分数值为 0（稀疏性）。

2. 高频词统计 (top_words)

• 输入操作*：代码执行 print(top_words)。
• 输出描述*：

控制台首先输出字符串 "出现频率最高的前 10 个词:"，紧接着输出一个命名的数值向量。格式如下：

      america         people          world           new        freedom 
           150            120            110            105            100 
       country           united     government          service          rights 
            95             90             85             80             78 

• (注：具体数值取决于实际运行的数据子集，此处为示例格式)*

这显示了在整个 2000 年后的语料库中，频次最高的 10 个单词及其对应的总频数。

3. 关键词分析结果 (kws)

• 输入操作*：代码执行 print(head(kws, 10))。
• 输出描述*：

控制台首先输出字符串 "2020 年演讲相对于其他年份的显著关键词:"，随后输出一个数据框的前 10 行。该数据框包含两列：

• feature: 单词本身。
• chi2: 卡方统计量值。

输出示例格式：

   feature      chi2
1     virus  45.67890
2   pandemic 42.12345
3   economy  38.54321
4   health   35.11111
...      ...

这表明像 "virus", "pandemic" 等词汇在 2020 年的演讲中出现的频率显著高于其他年份，具有统计学意义上的区分度。

4. 共现矩阵对象信息 (fcm_obj)

• 输入操作*：代码执行 print(fcm_obj)。
• 输出描述*：

控制台首先输出字符串 "已生成前 20 个高频词的共现矩阵对象 'fcm_obj'"，接着输出 fcm 对象的摘要信息。内容通常包括：

• 对象类型：feature co-occurrence matrix
• 维度：20 x 20 (表示 20 个特征词两两之间的共现关系)
• 非零元素数量：显示有多少对词在文中相邻或接近出现过。
• 包含的特征词列表预览。

此部分确认了程序已成功计算出选定词汇之间的共现关系，可用于后续的网络图绘制（虽然本脚本未绘制图形）。