An Explainable KG-RAG-Based Approach to Evidence-Based Fake News Detection Using LLMs

方法

1. 主张类型分类：采用微调后的 DeBERTaV3-large 模型，识别输入主张的类型，具体包括 “立场声明”“事件 / 属性主张”“因果主张”“数值主张”“引文验证” 五类。

2. 示例检索：运用 BM25 算法，从训练集中检索与输入主张类型一致的示例主张，同时获取这些示例主张对应的证据问题；该少量示例将用于步骤 4，为问答大型语言模型（Q&A LLM）提供引导，辅助其生成问题。

3. 知识图谱构建（HippoRAG 2 索引）：

   • 关键流程：

     • 实体提取：通过 gliner-medium-news-v2.1 模型提取实体。

     • 关系三元组提取：利用经微调的 Llama3.2-1B 模型（Meta 2024，经模型蒸馏训练用于三元组提取），从文档中提取关系三元组。

     • 图谱构建：提取的实体作为节点、三元组作为边，与文档一同加入知识图谱（KG）。

     • 额外优化：通过检索编码器，在语义相似的节点 / 实体间创建额外边（参考 Gutie ́rrez et al. 2025 的研究）。

4. 多步骤证据检索策略

   1. 在生成问题之前，使用 HippoRAG 2 从构建的知识图谱中检索相关背景信息。

   2. 将声明及其元数据（声明日期、声明者、原始声明 URL、声明报告来源以及与声明相关的位置 ISO 代码）、检索到的背景信息以及步骤 2 中的示例声明和问题提供给问答大语言模型，促使其生成用于检索相关证据的问题。

   3. 使用 HippoRAG 2 框架从知识图谱中检索与该问题相关的 k 个文档。

   4. 问答大语言模型使用检索到的文档回答问题，并生成一个后续问题，以从知识库中检索更多证据。

   5. 重复步骤 3 和 4，直到问答大语言模型提出并回答 10 个问题，这是 AVeriTeC 评分函数针对每个声明所考虑的问题上限。

5. 真实性预测（Veracity Prediction）：真实性预测 LLM 利用步骤 4 的 10 组证据问答对，预测真实性标签（“Supported”“Refuted”“Not Enough Evidence”“Conflicting Evidence/Cherry Picking”）；同时，提示其提供理由，以借助思维链提示（Chain-of-Thought Prompting）的优势（参考 Wei et al. 2024 研究）。