AIxiv专栏是本网站发布学术技术内容的专栏。在过去的几年里，AIxiv专栏收到了2000多篇报道，覆盖了世界各大高校和企业的顶级实验室，有效地促进了学术交流和传播。如果您有优秀的工作要分享，请提交或联系报告。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

本文的作者是清华大学交叉信息学院二年级硕士生徐荣武和一年级博士生齐泽涵。他们也是本文综述的主要作者。

随着人工智能和大型模型技术的快速发展，检索增强生成（Retrieval-Augmented Generation, RAG）它已成为大型语言模型生成文本的主要范式。该技术的代表 —— 大型语言模型检索增强（Retrieval-Augmented Large Language Model, RALM）—— 它可以直接使用检索到的文档信息生成内容，而无需额外的培训。这一优势在工业界得到了广泛的应用，如 New Bing 搜索引擎。

然而，自 2023 年起，RALM 处理知识冲突所面临的问题逐渐成为研究的焦点。知识冲突不仅严重影响了模型在知识密集型任务中的性能，而且暴露了模型在面对错误信息时的脆弱性，从而威胁到模型的安全性，特别是在对事实准确性有严格要求的应用场景中。知识冲突主要体现在模型内部参数化知识与外部上下文信息的不一致性上。此外，研究人员还观察到了模型内部参数知识之间的冲突，即自相矛盾，这可能是由于模型在预训练阶段学习了相互矛盾的信息。

让我们来看一个具体的例子：

在上面的例子中，大模型接受了一个事实问题：哪支球队赢得了世界杯上最多的冠军？对这个问题，一个 RALM 可以在网络和向量数据库中搜索文档，加上用户之前的提示组成的历史对话记录，共同形成上下文知识（Contextual Knowledge, Context，上图用黄色标出)；与此同时，大模型在预训练中也看到了关于回答这个问题的信息，这些信息构成了它的参数化知识，也称为模型。 “记忆”（Parametric Knowledge，Memory，用蓝色标记上图)。根据冲突双方信息的来源，我们可以 “两两(可重)组合 分为以下三类：

• Context-Memory Conflict 即上下文与参数知识的冲突。例子 1：模型通过 Web 检索获得的知识是即时的，但已经学到了知识 “过气”；例子 2：该模型获得了错误的假信息，并与参数知识发生了冲突。

• Inter-Context Conflict 即上下文知识内部的冲突。例子:通过 Web 搜索，由于发布时间不同，或混入恶意错误信息，获得的信息自相矛盾。

• Intra-Memory Conflict 也就是说，参数知识之间的冲突。例如：对于事实问答，该模型在同一语义的提示下激发了不同结果的答案，产生了矛盾的效果。

知识冲突最早的文献可以追溯到 Longpre 等人在 EMNLP 2021 的文章：Entity-based knowledge conflicts in question answering。本文通过命名实体替换在开放域进行问答（Open-Domain Question Answering）构建冲突知识，评价当时的语言模型。随着 2023 年度大型语言模型的兴起和 RAG 范式广泛应用于工业行业，知识冲突的研究热度逐渐上升，因为它大大降低了模型在关键任务中的表现，特别是对真实性的要求。

最近，清华大学、剑桥大学、西湖大学和香港中国大学的研究人员联合发布了一份综述，从原因、表现和解决方案三个方面详细讨论了三种不同的知识冲突类型，以帮助读者更好地理解和应对这一挑战。在我们看来，知识冲突不仅是各种模型下游表现的原因，也是知识本身和模型知识学习自然复杂性的结果。

• 论文地址：https://arxiv.org/abs/2403.08319

• 项目地址：https://github.com/pillowsofwind/Knowledge-Conflicts-Survey

这篇综述：

1. 首次系统总结了知识冲突领域的研究工作；

2. 对三种大模型可能遇到的冲突类型进行了全面分析，特别是对参数化知识冲突的讨论；

3. 我们不仅讨论了每一种冲突的分析，而且从它开始 “生命周期” 从这个角度来看，我们审视了冲突的起因、表现和可能的解决方案。

探索 Context-memory conflict：原因、表现和解决方案

起因

Context-Memory Conflict 其核心在于上下文信息和参数知识之间的差异。这种冲突的原因主要分为两个方面：时间错位（Temporal Misalignment）和信息污染（Misinformation Pollution）。

1. 时间错位（Temporal Misalignment）

时间错位是指模型在训练过程中使用的历史数据不能准确反映当前或未来的现实。这种现象在大语言模型中尤为明显，因为这些模型通常在大量静态数据上进行预训练，在现实中可能已经过时。例如，关于一篇文章 2020 年度奥运会的文章在 2024 然而，模型可能仍然依赖于这些过时的信息来预测和回答问题。研究表明，语言模型的性能会随着时间的推移而下降，语言的使用、文化变化和知识更新会影响模型处理当前信息的能力。

2. 信息污染（Misinformation Pollution）

信息污染是指外部信息中夹杂着错误或误导性的信息，会影响模型的判断和决策能力。这种情况在互联网时代尤为普遍，互联网上充斥着各种虚假信息、谣言和故意编造的虚假新闻。通过在网络上发布虚假信息，恶意用户可能会干扰模型的判断。举例来说，恶意攻击者可以在社交媒体上发布虚假的医疗信息，从而误导依赖这些信息的模型。信息污染不仅会影响模型的准确性，还会破坏用户对模型的信任。研究表明，恶意虚假信息显著削弱了自动化事实验证系统和开放域问答系统的准确性。

表现

当面对 Context-Memory Conflict 模型的行为表现出显著的复杂性和多样性。以下是两种表现形式：

1. 依靠参数化知识

在处理上下文和内存之间的矛盾时，一些模型往往过于依赖其内部参数知识，而忽略了外部提供的上下文信息。这种行为在早期的开放领域问答（ODQA）该研究得到了验证。Longpre 等人(2021)发现 QA 面对上下文信息与内部知识的冲突，模型倾向于依赖内存知识。

2. 依靠上下文信息

另一方面，面对外部证据，即使这些证据与其内部记忆相矛盾，一些模型也倾向于接受外部证据。Chen 等人（2022）在 QA 模型上的实验表明，模型倾向于依赖上下文知识 Longpre 等人的发现形成对比，解释为 Longpre 结构冲突信息过于简单。最近，Xie 等人(2023)通过控制大模型生成 “更符合逻辑” 冲突发现，即使这些证据与其参数知识相矛盾，大模型在面对外部证据时也更倾向于信任外部证据。

解决方案

有效应对 Context-Memory Conflict，研究人员提出了多种解决方案，主要分为冲突前的预防措施（pre-hoc strategies）冲突发生后的应对措施（post-hoc strategies）。以下是几种主要解决方案：

1. 预防措施

• 持续学习（Continue Learning）：将新的和更新的数据纳入持续的预训练模型，以减少时间错位的影响。例如，Lazaridou 等人(2021)建议通过持续的预训练来更新模型的内部知识，以跟上最新的信息。

• 知识编辑（Knowledge Editing）：为了反映最新信息，直接更新训练模型的参数知识。例如，De Cao 等人(2021)提出了一种直接修改模型内部知识以纠正错误或过时信息的知识编辑方法。然而，知识编辑的一个缺点是可能导致模型内部冲突的知识，即诱发我们后面提到的知识 intra-memory conflict。

2. 应对措施

• 微调模型（Fine-Tuning）：通过引入反事实和与上下文无关的方法，加强模型对上下文的控制能力和鲁棒性。例如，Li 等人(2022)提出的知识感知细节调整（KAFT）该方法通过在标准训练数据中引入反事实和无关的上下文，增强了模型在面对冲突信息时的鲁棒性。

• 提示语技术（Prompting）：通过专门设计的提示策略，增强模型对上下文的依赖。例如，Zhou 等人(2023)提出简洁 context-faithful prompting 该技术显著提高了模型在上下文敏感任务中的表现。

• 知识插入（Knowledge Plug-in）：将更新的知识存储在插件模块中，以确保原始模型不受影响。例如，Lee 等人(2022)提出的持续更新 QA（CuQA）在不影响其原始参数的情况下，通过知识插件提高模型的知识更新能力。

• 解码技术（Decoding）：在知识冲突的情况下，通过调整解码策略来降低模型产生幻觉的概率。例如，Shi 等人(2023)提出的上下文感知解码（CAD）该方法通过放大输出概率的差异，优先考虑上下文信息，从而减少冲突信息下模型的误导。

通过结合这些预防措施和应对措施，模型可以从不同的角度进行处理 Context-Memory Conflict 准确性和鲁棒性，从而提高模型在实际应用中的性能和用户体验。

探索 Inter-Context Conflict：解决方案的原因、表现和解决方案

起因

Inter-Context 冲突是指不同外部信息整合过程中的矛盾。虽然这些外部信息可以丰富大模型的答案，但它们也可能导致上下文之间的信息冲突。这种冲突主要是因为错误信息可能包含在外部信息中（Misinformation）和过时信息（Outdated Information）。

1. 错误信息（Misinformation）

检索增强生成技术（RAG）大模型的响应质量可以通过整合外部信息来提高，但这些外部信息可能包含虚假内容。例如，可能会混入伪造新闻或原因 AI 误导性内容导致检索到的信息之间的冲突。如何处理模型是一个重要的挑战。如果这些冲突不能有效地解决，模型生成的内容可能会不准确，从而加剧虚假信息的传播，进一步混淆信息。

2. 过时信息（Outdated Information）

随着时间的推移，事实会发生变化。大型模型在检索外部文件时，可能会遇到包含最新和过时信息的文件。信息的时差会导致上下文之间的冲突。例如，事件的最新发展与过时信息之间的矛盾会影响模型响应的准确性。过时的信息不仅会使模型的答案不准确，还会导致用户对模型失去信任。

表现

在面对 Inter-Context Conflict 当时，大模型从被动和主动两个角度表现出特定的行为特征：

1. 性能影响（Performance Impact）

错误或过时的信息会显著影响大模型的性能。例如，Chen (2022)的研究还指出，当模型遇到矛盾信息时，更倾向于信任与问题直接相关的信息和模型内部的参数知识。Pan 等待(2023a)通过将伪造的维基百科文章插入真实的维基百科语料库，发现现有语言模型在面对虚假信息攻击时表现不佳。Xie 等待（2023）的研究进一步表明，大型模型对与模型参数记忆一致的证据有显著偏好，特别是当涉及普通实体或获得大量文档支持时。

2. 检测能力（Detection Ability）

检测上下文中的矛盾信息也是一项重要任务。Li 等等(2023a)分析 GPT-4、PaLM-2 和 Llama 2 在维基百科全书的新闻、故事和文章中检测矛盾文件的能力表明，平均检测精度较低。Wan 其他（2024年）的研究表明，现有模型在评估文档的可信度时，往往高度依赖与查询相关的文档内容，而忽视了科学引用或中立语气等人类认为重要的文体特征。Jin 等人(2024a)发现大模型更喜欢上下文中频率最高的证据，并对与内部记忆一致的外部信息表现出明显的倾向。

解决方案

有效应对 Inter-Context Conflict，研究人员从多个角度提出了解决方案，主要分为消除冲突（Eliminating Conflict）并提高鲁棒性（Improving Robustness）从主动和被动两个角度解决两个方面 Inter-Context Conflict。

1. 消除冲突（Eliminating Conflict）

• 专用模型（Specialized Models）：特别训练模型以更好地处理特定类型的冲突。例如 Pielka 等等(2022)建议在学习过程中加入语言学知识，通过引入语法和语义特征来增强对矛盾信息的识别，从而提高模型检测矛盾的能力。

• 通用模型（General Models）：冲突消除采用通用模型。Chern 等等(2023)提出了多种工具的整合(如 Google Search、Google Scholar 等)用于检测文本中的事实错误的事实验证框架。该方法不仅依赖于模型的内部知识，还结合外部检索到的信息，提供更全面的事实验证。

2. 提高鲁棒性（Improving Robustness）

• 训练方法（Training Approach）：在面对冲突的上下文时，从训练算法上提高模型的鲁棒性。Hong 等待(2023)提出了一种新的微调方法，通过训练判别器和解码器来提高模型的鲁棒性。这种方法不仅可以提高模型在面对冲突信息时的稳定性，还可以提高模型处理复杂信息的能力。

• 查询增强（Query Augmentation）：在推理阶段，通过进一步引入外部知识来提高模型的鲁棒性。Weller 等等(2022)提出了查询增强技术提示 GPT-3 从原始查询中提取新问题。通过生成多个与原始问题相关的查询，模型可以从多个角度验证答案的正确性，从而减少单个信息源造成的错误。该方法不仅提高了模型应对冲突信息的能力，而且提高了其答案的准确性和可靠性。

Inter-Context Conflict 它是知识冲突的重要组成部分。如何处理大型模型之间的冲突信息是一项关键任务。通过上述方法，模型可以从不同的角度进行处理 Inter-Context Conflict 准确性和鲁棒性。

探索 Intra-Memory Conflict：解决方案的原因、表现和解决方案

起因

Intra-Memory Conflict 是指模型在输入相同的语义但不同的句法时表现出不一致的行为。这种冲突的主要原因可分为以下几个方面：

1. 训练语料库的偏差（Bias in Training Corpora）

LLMs 主要的知识获取阶段是在预训练期间完成的，这些预训练数据通常是从互联网上获取的。这些数据来源广泛，包括社交媒体、新闻文章、百科全书等，其质量参差不齐，可能包含不准确或误导性信息。在推理过程中，模型会记住并放大这些错误信息，导致模型中知识的冲突，这将导致模型在回答相关问题时出现各种相互矛盾的答案。同时，大型模型编码训练数据的表面关联，这将导致模型根据表面的虚假相关性进行判断。由于对虚假相关性的依赖，模型可能会在句法结构不同但语义相同的情况下给出不同的答案。

2. 解码策略（Decoding Strategy）

大模型的输出是通过概率分布采样可能的下一个单词来获得的。不同的采样方法(如贪图采样，top-p 采样、top-k 采样等)会导致内容生成的随机性。例如，在使用中 top-k 采样时，模型会从概率最高的方面进行采样 k 在个别候选词中随机选择下一个词，这增加了输出的不确定性，使得相同的输入在不同的推理中可能会得到不同的结果。

3. 知识编辑（Knowledge Editing）

研究人员提出了知识编辑技术，以有效地修改大模型中的知识。这些技术旨在在不重新训练整个模型的情况下，有效地修改模型的中小知识。然而，这些编辑方法可能会使知识的一致性难以保证。例如，通过知识编辑修改事实（如科学发现的具体细节），但未能同步更新所有相关知识，可能导致模型对不同问题的不一致响应。同时，修改后的知识可能无法在不同的情况下有效地应用，导致模型在处理同一知识的不同表达时产生不一致的答案。

表现

Intra-Memory Conflict 它将对大模型的性能产生重大影响，主要体现在以下几个方面：

1. 自我不一致（Self-Inconsistency）

自我不一致是指模型在面对语义等价但句法不同的问题时产生的答案不一致。例如，研究表明，即使是 GPT-4 在处理常识性问题时，这样先进的模型仍然存在 13% 答案是不一致的。这意味着用户提出同样的问题，但在另一种情况下，他们可能会得到不同的答案。另一方面，模型在回忆知识时，可能更多地依赖于训练数据中单词的表面关联，而不是真正理解知识。例如，一个模型可能会错误地与一些高频共现的单词相关联，导致生成的答案偏离预期。这种错误的联系进一步加剧了模型回答的自我不一致性。

2. 知识的潜在表现（Latent Representation of Knowledge）

多层内部的大模型 Transformer 结构导致不同层次存储不同的知识表达。这种分散的知识表示会导致模型在生成过程中无法准确地表达存储的知识。例如，低级信息可以在浅层存储，语义信息可以在深层存储。这种多层次表示的分散导致模型在面对不同问题时无法协调不同层次的知识，从而产生不一致的答案。

3. 跨语言不一致性（Cross-lingual Inconsistency）

由于大型模型在不同的语言中保持不同的知识集合，这导致了跨语言的一致性。例如，同一事实可能会在不同的语言中得到不同的答案，这在跨语言知识问答中尤为明显。例如，英语训练模型可能会准确地回答事实，但在西班牙语中会给出不同的答案。

解决方案

研究人员对内部记忆冲突提出了多种解决方案，主要分为以下几类：

1. 提升一致性（Improving Consistency）

• 微调（Fine-tuning）：通过引入一致性损失函数，结合标准语言模型训练损失，进行微调，提高模型的知识一致性。例如，Li 等人(2023)利用模型生成的答案进行验证，筛选出高度一致的答案进行微调，进一步提高生成答案的一致性。

• 插件（Plug-in）：模型的一致性是通过模块插入的集成来提高的。例如，Jang 和 Lukasiewicz（2023）建议通过使用字典中的意思来训练模型，以增强其对符号意义的理解。然后将这些增强的参数与现有语言模型的参数结合起来，以提高模型的一致性。

• 输出集成（Output Ensemble）：综合多次输出，从而得到最正确的答案。Mitchell 等人(2022)提出了这种双模型架构，通过评估答案之间的逻辑一致性来选择最可信的最终答案，从而减少模型生成的不一致性。

2. 提高事实的准确性（Improving Factuality）

提高模型响应的真实性，从而减少模型本身的不一致性。例如，Li 等人(2023)通过识别模型参数中包含的真实知识，在推理阶段沿这些真实知识相关方向调整激活知识，从而减少生成过程中的事实错误，提出了一种知识探测方法。

内部记忆冲突是 LLMs 研究中的一个重要挑战需要从训练、生成和后处理开始。虽然目前的解决方案在一定程度上缓解了这个问题，但仍有许多挑战需要克服。

讨论 1：模型应该如何应对冲突？

理想情况下，模型应该能够识别冲突，并在遇到知识冲突时提供明确的答案。然而，研究发现，现有模型在识别冲突方面表现良好，但在确定具体的冲突段落并生成不同的答案方面仍存在挑战。另一方面，一些研究人员认为我们不应该这样做 “处理冲突” 大模型所代表的任务完全丢失给大模型 AI，相反，这种权力应该掌握在人类手中。